Prenons un test de dépistage d'un cancer quelconque, utilisé afin d'étudier au hasard la population. Nous aimerions décider si ce dépistage a de la valeur sur la base des données qui auront été obtenues sur 5 500 personnes qui ont eu un cancer ces 20 dernières années. Tout ceci est résumé dans le tableau 1.

Nous voyons que 2500 personnes dans la population ont découvert leur cancer grâce au dépistage (via le test alors qu'ils pensaient être en bonne santé). Parmi ces derniers, 74% ont survécu. 3000 autres personnes de la communauté ont eu ce cancer (ces personnes n'ont été au courant de leur cancer qu'après une présentation de leurs symptômes à leur médecin). Parmi ces 3000 cas non détectés, 52% ont survécu.

Il semblerait donc que dépister une population améliore les chances pour une personne de survivre. Ce qui donne du sens au test de dépistage parce qu'une détection tôt dans le temps signifie un traitement plus rapide, ce qui est toujours une bonne chose.

Cependant, il est possible qu'un tel dépistage ne fasse absolument aucune différence dans les chances des gens de survivre au cancer. Comment cela est-il possible ? Supposons que le cancer vienne sous deux formes distinctes : une croissance de la tumeur lente et facile à traiter, et une tumeur aggressive et foudroyante en très peu de temps.

Si nous testons au hasard (par dépistage) beaucoup de personnes, celles dont le test sera positif tendront à être celles qui ont une tumeur à croissance lente. Pour le comprendre, souvenez-vous de l'échantillon des oiseaux, dans laquelle la situation est parfaitement analogue.

Il s'ensuit que les cas dépistés contiendront plus probablement une grande proportion de tumeurs lentes. La situation pourrait être résumée comme dans le tableau 2.

Nous voyons que dans chacun des deux groupes, les personnes qui ont été dépistées n'avaient aucun avantage sur celles qui ne l'ont pas été. Ce type de contradiction entre les conclusions qui peuvent être inférées des tableaux 1 et 2 est appelé le "paradoxe de Simpson". Il est dû à l'erreur dans la prise en compte d'une variable importante, appelée la variable de confusion, comme ici pour ce qui est des tumeurs lentes ou foudroyantes.

Le paradoxe de Simpson est un phénomène courant. Comme autre exemple, considérons la collecte de données sur les gauchers et les droitiers sur plusieurs décades et calculons l'âge moyen du décès pour chaque groupe. Nous pourrions très bien conclure que les droitiers vivent plus longtemps en moyenne que les gauchers, même s'il n'y a aucune différence. Le paradoxe dans ce cas pourrait être dû à la proportion de gauchers dans la population qui change dans le temps.

Un des types d'enquête devenu très populaire récemment est le sondage Internet. Par exemple, sur un site, à la question "les couleurs du drapeau australien devraient-elles être changées ?", sur les 9453 personnes qui ont répondu, 4941 ont répondu "oui", ce qui donne une proportion de 52%.

Cependant, il est plausible que les opposants aux couleurs actuelles du drapeau aient été plus passionnés par l'issue du sondage que les partisans du drapeau actuel, et étaient donc plus susceptibles d'enregistrer leur vote en ligne. Si c'est le cas, l'échantillon de 9453 contiendrait une proportion importante de réponses "oui". En conséquence, le résultat de 52% est trop haut.

Le seul moyen de trouver la proportion d'australiens qui veulent un nouveau drapeau est de conduire une enquête correctement réalisée, impliquant un large échantillon dans lequel chaque personne dans la population aurait une probabilité égale d'être sélectionnée. Un tel sondage a été réalisé à peu près à la même époque que le sondage internet. Ce sondage, conduit par l'Australian Constitutional Referendum Study en 1999 résultait en un échantillon aléatoire de 2223 australiens parmi lesquels 823, ou 37%, déclaraient vouloir changer de drapeau. Le fait que cette proportion soit plus basse que les 52% de l'enquête internet est logique avec notre hypothèse initiale, selon laquelle les opposants aux couleurs du drapeau étaient plus susceptibles de voter que les partisans.

L'autre problème avec les sondages internet vient de ce que les gens peuvent voter plusieurs fois. En outre, certaines personnes peuvent ne pas avoir d'ordinateur, et tout le monde ne saura pas qu'il existe un sondage en cours sur tel ou tel sujet. Ainsi, les sondages internet sont pratiquement inutiles, en plus de cumuler les biais des sondages de rue, et ceux qui leur sont propres, ils ne nous disent rien sur qui que ce soit, sinon sur ceux qui y ont participé. Nous retrouvons le même genre de problème avec les sondages par téléphone et toutes les enquêtes nécessitant des volontaires. Le problème qui se pose avec ce genre d'enquêtes est qu'elles se limitent à des échantillons auto-sélectionnés.

Considérons une maladie qui toucherait 1% de la population, et un test dont la précision de détection de cette maladie est de 90%. Supposons que nous prenions une personne au hasard pour la tester, et que le résultat soit positif (indiquant qu'il a la maladie). Quel est la probabilité pour qu'il ait réellement la maladie ? En premier lieu, ceci pourrait sembler idiot comme question. Après tout, n'avons-nous pas dit que test était précis ou juste à 90% ? Cependant, la réponse n'est pas 90%. Pour comprendre pourquoi, supposons que nous sélectionnions 1000 personnes dans la population et appliquions le test sur l'ensemble.

Environ 10 de ces personnes (i.e. 1%) auront la maladie, et 990 ne l'auront pas. Sur ces 10 personnes qui l'ont, environ 9 seront positifs (soit 90%) et 1 sera négatif. Pareillement, sur ces 990 qui ne l'auront pas, environ 99 (soit 10%) seront testés comme positifs et 891 (soit 90%) seront négatifs.

Nous voyons donc que le nombre total de gens qui seront positifs est d'environ 9+99=108. Parmi ces 108, environ 9 auront la maladie. De ce fait, la probabilité pour une personne testée positive d'avoir vraiment la maladie est de 9/108= 1/12 = 8,3%.

Notez la distinction entre la probabilité a priori pour une personne d'avoir la maladie (1%) et la probabilité a posteriori de l'avoir (8,3%). Cette distinction est instructive parce que cela montre qu'un résultat de test positif a (sensiblement) augmenté les chances pour une personne d'avoir la maladie (de plus de 700%).

C'est donc une confusion entre les probabilités a priori et a posteriori qui nous conduit à penser que 90% est la réponse à la question. Mais 90 est la probabilité a priori que le test soit correct, tandis que la question effectivement posée sur la probabilité a posteriori que le résultat du test soit correct est de 8,3%.

---

Pour aller plus loin :
- Statistiques : Méfiez-vous ! Nicolas Gauvrit.
- Attention, statistiques !, Joseph Klatzman.
- Penser le risque : Apprendre à vivre dans l'incertitude. Gerd Gigerenzer.
- Coïncidences : Nos représentations du hasard. Gérald Bronner.
- Crimes contre la logique. Comment ne pas être dupe des beaux-parleurs. Jamie Whyte.
- 150 petites expériences de psychologie (pour mieux comprendre nos semblables), Serge Ciccotti.
- Devenez sorciers, devenez savants, G.Charpak et H.Broch.
- Les influences inconscientes. De l'effet des émotions et des croyances sur le jugement. Ahmed Channouf.

A lire aussi :
- Les erreurs de choix statistiques.
- Les variables de confusion.
- Les correlations illusoires.
- Les biais et erreurs des études scientifiques.
- L'illusion de la guérison.
- Les illusions logiques.
- Le pouvoir des coïncidences.
- Coïncidence, corrélation et hasard.
- Gagnez au loto !
- Les actes rares.