Cinq utilisateurs suffisent (et pourquoi on en teste quand même huit)

Il existe une phrase que tout le monde a lue et que presque personne n’a vérifiée : « cinq utilisateurs suffisent à trouver 85 % des problèmes d’ergonomie ». Elle est exacte. Elle est aussi systématiquement mal appliquée.

Ce que dit réellement la règle

Le chiffre vient d’un modèle simple : si chaque participant a une probabilité p de rencontrer un problème donné, alors n participants en trouvent une proportion 1 - (1 - p)^n. Avec un p autour de 0,31, cinq personnes couvrent effectivement la grande majorité des défauts.

Tout repose sur cette valeur de p, c’est-à-dire sur l’hypothèse que vos participants se ressemblent. La règle vaut pour un seul profil d’utilisateur, sur un seul parcours.

Là où ça casse

Dès que votre produit s’adresse à des populations distinctes, le modèle s’effondre. Un back-office utilisé à la fois par des gestionnaires expérimentés et par des saisonniers formés en une demi-journée, ce sont deux p différents, donc deux échantillons.

Nous testons rarement cinq personnes. Nous testons plutôt :

• cinq participants par profil, quand les profils sont vraiment distincts ;
• trois participants, quand il s’agit de vérifier une correction déjà identifiée ;
• huit et plus, quand l’enjeu est réglementaire ou que l’échec coûte cher.

Le vrai goulot

Dans la pratique, le nombre de participants n’est presque jamais le facteur limitant. Ce qui limite, c’est le temps entre deux sessions : si vous testez huit personnes en une journée sans corriger entre-temps, vous observez huit fois le même problème.

Mieux vaut cinq participants, une semaine de corrections, puis cinq autres. Deux vagues courtes battent une grande campagne, à budget égal.