Ne demandez plus si votre score SUS est bon : demandez-vous par rapport à quoi

    19 novembre 2026
    9 min de lecture
    Par Leif Karsendale
    Partager cet article

    Le tableau de résultats vient d'arriver : 71,5 sur 100, douze participants, et la cheffe de produit demande dans le canal de l'équipe si « c'est bien ». Le designer répond que la moyenne est à 68, donc oui. La responsable de la recherche hésite, parce que la version précédente avait obtenu 74 avec un autre panel.

    Personne n'a tort, et personne n'a vraiment répondu. Un score SUS isolé ne se juge pas comme une note d'examen. Il se juge par comparaison, et toute la difficulté consiste à choisir la bonne comparaison avant de lire le chiffre.

    Comment le score est calculé et pourquoi ce n'est pas un pourcentage

    Le System Usability Scale a été conçu par John Brooke en 1986, chez Digital Equipment Corporation, comme un questionnaire « rapide et sale » pour comparer des systèmes. Il compte 10 affirmations, notées de 1 (pas du tout d'accord) à 5 (tout à fait d'accord). Les items impairs sont formulés positivement, les items pairs négativement, ce qui oblige le participant à lire chaque phrase au lieu de cocher la même colonne dix fois.

    Le calcul transforme chaque réponse en un score de 0 à 4, puis ramène le total sur 100 :

    Item impair (1, 3, 5, 7, 9)  : score = réponse - 1
    Item pair (2, 4, 6, 8, 10)   : score = 5 - réponse
    SUS du participant = (somme des 10 scores) x 2,5
    SUS de l'étude     = moyenne des SUS des participants
    

    Un participant qui répond 4 à tous les items impairs et 2 à tous les items pairs obtient 5 fois 3, plus 5 fois 3, soit 30 points, multipliés par 2,5 : 75.

    Le piège vient de l'échelle de 0 à 100. Elle ressemble à un pourcentage, et le cerveau lit spontanément 71 comme « 71 % de satisfaction » ou comme une note de 14 sur 20. Ce n'est ni l'un ni l'autre.

    La distribution réelle des scores n'est pas uniforme : très peu de produits descendent sous 30, et très peu dépassent 90. Un 50, qui sonnerait comme une moyenne honnête, place en réalité un produit dans le bas du classement. C'est pour cette raison qu'on interprète le SUS avec des repères empiriques et non avec l'intuition scolaire.

    Autre conséquence : les scores des items pris un par un n'ont pas de signification stable, même si un item très bas peut orienter les entretiens qualitatifs. Le questionnaire a été pensé comme un tout, et c'est le total qui a été étudié et étalonné.

    Les repères publiés : 68, les lettres et les adjectifs

    Le premier repère que tout le monde cite est 68. Il vient des bases de référence compilées par Jeff Sauro à partir de plusieurs centaines d'études publiées : la moyenne tourne autour de 68, ce qui place un 68 à peu près au 50e percentile. Dire « au-dessus de 68 » revient donc à dire « mieux que la moitié des produits de la base », rien de plus.

    Le deuxième repère est la grille en lettres proposée par Jeff Sauro et James Lewis, dite échelle courbe. Un C correspond à peu près à la zone de 65 à 71, un A commence autour de 80,8, et un F regroupe les scores sous 51,7 environ. Cette grille a un avantage pratique : elle traduit le score en position relative, ce que les parties prenantes comprennent tout de suite.

    Le troisième repère vient d'Aaron Bangor, Philip Kortum et James Miller, qui ont ajouté au questionnaire une question sur un adjectif (de « le pire imaginable » à « le meilleur imaginable ») et observé les scores SUS associés. Leurs travaux ont aussi popularisé des zones d'acceptabilité : en dessous de 50, le produit est généralement jugé inacceptable, entre 50 et 70 la zone est marginale, et au-dessus de 70 on parle d'acceptable.

    Ces trois repères se recoupent, mais ils ne disent pas la même chose. Le percentile répond à « où suis-je par rapport aux autres ? ». L'adjectif répond à « comment les utilisateurs le vivent-ils ? ». L'acceptabilité répond à « puis-je livrer sans honte ? ». Un 71 est au-dessus de la moyenne, à la limite basse de l'acceptable, et proche d'un C+ : trois lectures, une seule mesure. Avant de choisir le repère, il faut savoir quelle question on se pose.

    Changer la question : bon par rapport à quoi

    La comparaison avec 68 est la plus facile et souvent la moins utile. Elle met votre outil de planification logistique dans le même panier qu'une application de méditation, testés par des publics différents sur des tâches différentes. Dans les données publiées, les logiciels professionnels complexes obtiennent en moyenne des scores plus bas que les produits grand public, et un 65 sur un ERP n'a pas le même sens qu'un 65 sur une boutique en ligne.

    Quatre comparaisons ont plus de valeur, de la meilleure à la moins bonne. D'abord, votre propre version précédente, testée avec le même protocole et un public comparable : c'est la seule qui mesure l'effet de votre travail. Ensuite, un concurrent direct testé dans les mêmes conditions, ce qui coûte cher mais répond à la question commerciale. Puis la moyenne de votre catégorie de produit, quand elle est connue. Enfin seulement, la moyenne générale de 68.

    Reste la marge d'erreur. Avec 12 participants, un score moyen bouge facilement de plusieurs points d'un panel à l'autre. On la calcule avec un intervalle de confiance :

    IC 95 % = moyenne ± t(n-1) x (écart-type / racine carrée de n)
    

    Avec une moyenne de 71,5, un écart-type de 13 et 12 participants, l'erreur standard vaut 13 divisé par 3,46, soit 3,75. La valeur de t pour 11 degrés de liberté est 2,201, ce qui donne une marge de 8,3 points. L'intervalle va donc de 63,2 à 79,8.

    Le score de l'équipe du début est compatible avec un produit moyen comme avec un bon produit. C'est une information en soi : la question « c'est bien ? » n'a pas encore de réponse solide, et le 74 de la version précédente n'est pas significativement différent.

    Cas illustratif : un 66 qui valait mieux qu'un 78

    Le cas suivant est illustratif, mais il reprend une situation fréquente dans les équipes produit B2B. Une équipe refond l'écran de paramétrage d'un logiciel de gestion de stocks.

    Première itération : le prototype est testé avec 6 collègues du service commercial, sur trois tâches simples. Score moyen 78, écart-type 12. Tout le monde se félicite. Deuxième itération, un mois plus tard : la version développée est testée avec 15 clients réels, sur cinq tâches tirées de tickets de support. Score moyen 66, écart-type 11. Panique dans la réunion de revue : la refonte aurait fait perdre 12 points.

    On recalcule. Pour le premier test, l'erreur standard vaut 12 divisé par 2,45, soit 4,9, et t pour 5 degrés de liberté est 2,571 : marge de 12,6 points, intervalle de 65,4 à 90,6. Pour le second, 11 divisé par 3,87 donne 2,84, t pour 14 degrés vaut 2,145 : marge de 6,1 points, intervalle de 59,9 à 72,1.

    Les deux intervalles se chevauchent largement, et surtout les deux tests ne mesurent pas la même chose. Des collègues qui connaissent le produit, sur des tâches faciles, notent plus généreusement que des clients confrontés à leurs vrais problèmes. Le 66 est la première mesure fiable dont dispose l'équipe. Il devient la référence pour la troisième itération, qui sera testée avec le même type de participants et les mêmes cinq tâches.

    L'équipe en tire une règle simple : ne comparer deux scores SUS que si le public, les tâches et le mode de passation sont les mêmes. Sinon, on compare des protocoles, pas des interfaces. Et elle arrête d'afficher le 78 dans les présentations à la direction, parce qu'un chiffre flatteur mais non comparable finit toujours par se retourner contre ceux qui l'ont cité.

    Arbre de décision avant de qualifier un score

    Avant d'écrire « bon » ou « mauvais » à côté d'un score SUS dans un rapport, répondez à ces questions dans l'ordre.

    1. Le score a-t-il été calculé avec la formule standard, items pairs inversés compris ? Si non, recalculez avant toute interprétation. Si oui, continuez avec la question suivante.
    2. Le questionnaire a-t-il été rempli après la réalisation de tâches réelles, et non sur la base d'une démonstration ? Si non, le score mesure une impression, pas l'usage : notez-le comme tel. Si oui, question 3.
    3. Avez-vous au moins une dizaine de participants ? Si non, publiez l'intervalle de confiance à côté du score et évitez tout adjectif. Si oui, question 4.
    4. Disposez-vous d'un score antérieur obtenu avec le même public, les mêmes tâches et le même mode de passation ? Si oui, comparez-vous d'abord à lui et dites si les intervalles se chevauchent. Si non, question 5.
    5. Connaissez-vous un repère fiable pour votre catégorie de produit ou un concurrent testé dans des conditions proches ? Si oui, utilisez-le comme référence principale. Si non, question 6.
    6. Le score dépasse-t-il 68 en tenant compte de la marge d'erreur, c'est-à-dire avec une borne basse de l'intervalle au-dessus de 68 ? Si oui, vous pouvez écrire « au-dessus de la moyenne publiée ». Si l'intervalle contient 68, écrivez « dans la moyenne », même si le chiffre ponctuel est supérieur.

    Cet arbre paraît lent. En pratique, il prend cinq minutes et évite la plupart des débats stériles en réunion, parce qu'il impose de dire sur quelle comparaison repose le qualificatif. Il a aussi un effet secondaire utile : il pousse l'équipe à standardiser son protocole, puisque la question 4 ne trouve de réponse positive que si les tests successifs se ressemblent.

    Les erreurs qui font mentir un score SUS

    La plupart des mauvaises lectures du SUS ne viennent pas de la statistique, mais de la manière dont le questionnaire a été administré ou rapporté. Voici celles qui reviennent le plus souvent dans les équipes produit :

    • lire le score comme un pourcentage de satisfaction, alors qu'un 70 se situe à peine au-dessus du milieu de la distribution réelle ;
    • comparer les items un par un entre deux versions et en tirer des conclusions de conception, alors que le questionnaire n'a pas été étalonné pour cela ;
    • reformuler librement les phrases ou les traduire à la volée, ce qui modifie le comportement des réponses ; pour le français, mieux vaut partir d'une traduction validée comme la F-SUS publiée en 2021 ;
    • supprimer les items négatifs pour « simplifier », ce qui retire le mécanisme qui force la lecture attentive ;
    • faire passer le questionnaire avant que le participant ait terminé ses tâches, ou après une démonstration guidée ;
    • mélanger dans une même moyenne des utilisateurs experts et des débutants, alors que l'expérience avec le produit tire le score vers le haut ;
    • présenter un score sans le nombre de participants ni l'intervalle de confiance ;
    • traiter un écart de 3 ou 4 points entre deux tests de 10 personnes comme une amélioration réelle.

    Une dernière erreur est plus subtile : faire du SUS un objectif chiffré pour l'équipe. Dès qu'un bonus ou une revue de performance dépend d'atteindre 75, la tentation de choisir des participants bienveillants ou des tâches faciles devient forte, et le score perd sa valeur de mesure. Le SUS fonctionne bien comme thermomètre, beaucoup moins comme cible.

    Ce qui laisse une question ouverte pour chaque équipe de design : si le score n'a de sens que comparé à vos propres mesures passées, combien de tests identiques faut-il accumuler avant de pouvoir dire, sans se mentir, que votre produit est devenu bon et pas seulement meilleur ?

    Articles connexes