10 biais cognitifs qui peuvent saboter vos tests logiciels (et comment les éviter)

Nous avons tous, consciemment ou inconsciemment, des biais cognitifs. 

Un biais est une distorsion (déviation systématique par rapport à une norme) que subit une information en entrant dans le système cognitif ou en sortant. Dans le premier cas, le sujet opère une sélection des informations, dans le second, il réalise une sélection des réponses (Grand Dictionnaire de la Psychologie, Larousse). 

Dans le métier de la qualité logicielle, ces déviations cognitives peuvent conduire à des erreurs, et donc, à des bugs.

À travers cet article, j’ai sélectionné parmi les biais cognitifs 10 d’entre eux qui sont susceptibles d’avoir un impact sur notre travail. Pour chacun, j’essaie de vous montrer un exemple et les contre-mesures à mettre en place pour les éviter.

1. Biais de confirmation

Définition/Impact : C’est un des biais les plus répandus (si ce n’est le plus répandu). C’est la tendance à rechercher ou interpréter les informations qui confirment nos croyances tout en ignorant celles qui les contredisent. C’est très difficile de comprendre quelque chose qui va à l’encontre de nos croyances personnelles, de notre culture, ou de notre éducation.

Exemple : En validant une correction de bug, vous ne testez que les cas où le problème avait été signalé, sans explorer d’autres zones touchées par le changement de code.

Stratégie : Mettre en place des tests qui cherchent activement à infirmer les hypothèses initiales, demander à d’autres membres de l’équipe de revoir les scénarios pour diversifier les points de vue (revue), ou tester à plusieurs (pair testing).

2. L’effet d’ancrage

Définition/Impact : La première information reçue sur le produit ou service à tester influence de manière excessive les jugements ou décisions ultérieurs. Ici, il s’agit de faire une sorte de remise à zéro de toute information préalable, ou d’a priori.

Exemple : Une première estimation indique qu’un bug est mineur, et cela influence votre perception même après avoir découvert qu’il affecte une fonctionnalité critique.

Stratégie : Revoir régulièrement les priorités en se basant sur des données objectives et des critères mesurables et non sur des opinions (conséquences business, nombre d’utilisateurs impactés, fréquence, etc.).

3. Biais de disponibilité

Définition/Impact : Surestimation de la probabilité d’événements récents ou marquants par rapport à d’autres. Une espèce de syndrome post-traumatique (mais en moins grave bien sûr).

Exemple : Après un bug critique lié à un composant spécifique, le testeur priorise uniquement des tests similaires et ignore d’autres parties de l’application étant des zones à risque.

Stratégie : Utiliser une matrice de risques basée sur les données pour couvrir toutes les zones critiques et éviter une concentration excessive sur un seul type de test. Réaliser fréquemment des tests exploratoires.

4. Effet Einstellung, ou effet d’attitude

Définition/Impact : Une solution connue, maîtrisée ou utilisée empêche de considérer de meilleures alternatives. Typiquement la fameuse zone de confort.

Exemple : Vous continuez à exécuter manuellement une suite de tests répétitifs, même s’il serait plus pertinent de les automatiser.

Stratégie : Encourager l’expérimentation de nouveaux outils ou techniques, réaliser des proof of concept, organiser des formations, et favoriser une réflexion critique sur les pratiques établies.

5. Biais d’aversion à la perte

Définition/Impact : Tendance à éviter le changement ou à persister dans une solution pour ne pas perdre l’investissement initial (temps, efforts, ressources). Renverser la table, bouleverser l’ordre établi, les pratiques, est un acte très engageant.

Exemple : Maintenir une suite de tests obsolète par crainte de perdre le travail déjà accompli, bien qu’elle soit inefficace. Vous refusez de l’abandonner alors qu’elle ne trouve jamais de bugs et consomme beaucoup de temps de build, car vous avez investi beaucoup d’efforts pour les créer.

Stratégie : Analyser objectivement le coût/bénéfice de continuer à utiliser une ancienne solution et adopter une approche progressive pour implémenter des alternatives.

6. Biais de cadrage

Définition/Impact : Les décisions sont influencées par la manière dont une information est présentée (positivement ou négativement). Je ne vous apprends rien si je vous dis que l’être humain est influençable…

Exemple : On vous présente un rapport qui indique 95 % de couverture des tests, et vous considérez cela comme suffisant sans vérifier si les 5 % manquants incluent des scénarios critiques.

Stratégie : Présenter des données dans un cadre neutre et objectif, en exposant les risques et impacts des résultats sous toutes leurs perspectives.

7. L’effet Dunning-Kruger, ou effet de sur confiance

Définition/Impact : Les personnes peu compétentes surestiment leurs capacités et sous-estiment celles nécessaires pour accomplir une tâche. L’excès de confiance et l’ego empêchent de rester objectif et réaliste.

Exemple : Un testeur junior donne son feu vert pour une mise en production après avoir testé seulement des scénarios basiques, ignorant les scénarios complexes. Autre exemple, le même testeur, par manque d’expérience, va parfois estimer de manière erronée sa charge de travail.

Stratégie : Fournir une formation continue, promouvoir la collaboration avec des collègues expérimentés et organiser des revues par des pairs.

8. Biais de survie

Définition/Impact : Concentration sur les succès ou les survivants tout en négligeant les échecs ou ce qui n’a pas été testé. Ici, nous allons surévaluer nos chances de succès, parfois à cause d’exceptions statistiques au lieu de cas réellement représentatifs.

Exemple : Vous donnez votre GO pour une mise en production après des tests réussis, sans tenir compte des scénarios non testés ou négligés.

Stratégie : Maintenir une couverture de test la plus exhaustive possible, documenter les cas non exécutés, et analyser les causes d’échec pour améliorer les plans de test (pratique des 5 Why).

9. Biais de négativité

Définition/Impact : Donner plus de poids aux aspects négatifs qu’aux aspects positifs, ce qui peut fausser la perception de la qualité. Nous connaissons tous ce biais, et retenons plus souvent les échecs, les erreurs, que les succès.

Exemple : Vous mettez l’accent sur le fait qu’une fonctionnalité majeure a échoué pendant un test, sans mentionner que d’autres parties critiques ont été validées avec succès.

Stratégie : Inclure une analyse équilibrée dans les rapports, en mettant en avant les réussites et les échecs pour maintenir une perspective globale.

10. L’effet de simple exposition

Définition/Impact : Préférence pour des outils, méthodes ou processus familiers, même si d’autres options pourraient être meilleures. Répéter plusieurs fois quelque chose, être dans sa petite routine, est rassurant pour tout le monde…

Exemple : Vous continuez à utiliser un framework obsolète parce qu’il est connu de l’équipe, au lieu d’en explorer un plus performant.

Stratégie : Mettre en place des revues régulières des outils et processus, avec une ouverture à tester et intégrer des innovations.

Le choix de ces dix biais est évidemment un parti pris. Chacun d’entre eux montre bien l’impact qu’ils peuvent avoir dans notre métier. Dans la partie stratégie, le travail d’équipe, le pair testing, les revues reviennent à plusieurs reprises. En cas de doute sur vos pratiques, misez sur le collectif qui vous permettra de confronter les points de vue et de remettre en question les pratiques de chacun.

Et vous ? Connaissiez-vous ces biais cognitifs ? Sont-ils représentés dans vos équipes ? Comment les gérez-vous au quotidien ?

Romuald Lenormand – Automaticien de test chez SSID Testing Agency

Sources : 

Daniel Kahneman : Système 1 / Système 2 : Les deux vitesses de la pensée (2011). Tversky et Kahneman : Judgment under Uncertainty : Heuristics and Biases (1974). Articles sur les biais cognitifs et la psychologie comportementale : Nickerson, R. S. (1998) : Confirmation bias: A ubiquitous phenomenon in many guises. Kruger, J., & Dunning, D. (1999) : Unskilled and unaware of it. Taleb, N. N. (2007) : The Black Swan: The Impact of the Highly Improbable.