Les biais et erreurs
des études scientifiques

Qu'est-ce qu'un biais ?

Le dictionnaire définit le biais comme une "inclination unilatérale de l'esprit ". Pour ce qui concerne les études scientifiques, il définit une disposition systématique de certains essais à produire des résultats meilleurs ou pires que dans d'autres modèles d'études.


Mal commencé, mal terminé

Lorsqu'un biais est découvert, il résulte, la plupart du temps, en une importante surestimation des effets du traitement. Des essais avec un protocole médiocre rendent les traitements plus efficaces qu'ils le sont en réalité. Ils peuvent même faire croire qu'ils marchent alors que ce n'est pas le cas.

C'est pourquoi les bons guides pour revues systématiques suggèrent des stratégies afin de minimiser ces biais, en évitant notamment d'y inclure les études contenant des sources de biais connues. Ils proposent en outre, lors d'une revue systématique, une analyse plus fine afin de voir si les différents protocoles des essais affectent directement les résultats

Mais ces avertissements sont plus souvent ignorés que pris en compte. Ils sont ignorés lors des relectures, et lors des prises de décision. Le résultat de tout cela est que des décisions erronées sont prises, reposant sur une information incorrecte.


La randomisation

Le processus de randomisation est très important car il élimine les biais de sélection dans les études. Si la sélection est réalisée par ordinateur, ou par pile ou face, toute attitude consciente ou inconsciente du chercheur sera évitée.

Certains spécialistes ont montré qu'une méthodologie inadaptée exagérait les effets mesurés lors d'une étude (cf. tableau). Ils ont comparé les études dans lesquelles les auteurs rapportaient correctement et clairement les répartitions, avec celles dans lesquelles la randomisation était soit inadéquate, soit confusément décrite, et ils examinèrent aussi les effets des exclusions et des corrélations.

Les résultats étaient frappants et parlants, comme le montre le tableau. Les ratios de probabilités étaient exagérés de 41% dans les études où la répartition des traitements était mal dissimulée, et de 30% quand le processus d'allocation n'était pas clairement décrit.

Beaucoup de revues systématiques excluent les études non-randomisées, à cause de la quantité de biais consécutifs à une mauvaise randomisation. Nous pensons que restreindre les revues systématiques aux seules études randomisées est correct pour ce qui concerne les revues évaluant l'efficacité d'un traitement. La raison vient de ce qu'il y a énormément d'exemples où des études non randomisées sont parvenues à de fausses conclusions.

Les exemples abondent. Un exemple que cette revue sur la stimulation nerveuse transcutanée pour le soulagement de la douleur post-opératoire (figure 1). Les études randomisées ne montrent aucun bénéfice contre placebo, tandis que les étudies non-randomisées font ressortir un bénéfice. L'effet de la randomisation est particulièrement fort là où les revues comptent les votes (une étude est soit positive, soit négative) plutôt que quand elle associe des données dans une méta-analyse. Cela s'applique plus spécialement aux études sur les thérapies alternatives.


Figure 1 : effet de la randomisation sur les résultats d'essais sur la stimulation nerveuse transcutanée pour la douleur post-opératoire.


L'aveugle

L'importance des études en aveugle vient de ce que cela permet d'éviter les biais d'observation. Si personne ne sait quel traitement reçoit un patient, aucune surestimation de l'effet, de quelque traitement qui soit, n'est possible.

Les études non aveugles surestiment les effets d'environ 17% (cf. tableau). Dans une revue sur l'acupuncture pour la douleur (figure 2), le fait d'inclure à la fois des études en aveugle et non aveugles change radicalement la conclusion finale. Les études en aveugle montrent une amélioration chez 57% des patients et 50% dans le groupe contrôle, un bénéfice relatif de 1.2 (95% d'intervalle de confiance 0.9 à 1.5). Cinq études non aveugles montrèrent 67% d'amélioration avec l'acupuncture, et 38% dans le groupe placebo. Ici, le bénéfice était significatif à 1.8 (1.3 à 2.4)


Fig. 2 : Effets de l'aveugle sur les résultats d'études sur l'acupuncture pour la douleur.


Qualité des comptes-rendus

A cause du grand nombre de biais susceptibles de se produire dans le cadre d'études non randomisées et non aveugles, un système de score1 dépendant de la randomisation et de l'aveugle est donc corrélé à ces biais. Les études ayant une qualité médiocre de compte-rendu surestiment constamment les effets du traitement. Ce système particulier de score a une graduation de 0 à 5 reposant sur la randomisation, l'aveugle, les abandons et le nombre de sujets. Les études ayant un score de 2 ou moins rapportent logiquement des effets de traitement plus importants que celles ayant un score de 3 ou plus.


Tableau d'exemples de biais connus lors d'essais sur l'efficacité des traitements

Source de biais
Sens de l'effet sur l'efficacité du traitement
Taille de l'effet
Références
Randomisation Augmentation Les études non randomisées surestiment les effets du traitement de 41% avec des méthodes inadéquates et de 30% avec des méthodes confuses KF Schultz, I Chalmers, RJ Hayes, DG Altman. Preuves empiriques de biais : Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. Journal of the American Medical Association 1995 273: 408-12.
Randomisation Augmentation Résultats complètement différents entre les études randomisées et non randomisées Carroll D, Tramèr M, McQuay H, Nye B, Moore A. La randomisation est importante dans les études sur la douleur : systematic review of transcutaneous electrical nerve stimulation in acute postoperative pain. British Journal of Anaesthesia 1996; 77: 798-803.
Aveugle Augmentation 17% KF Schultz, I Chalmers, RJ Hayes, DG Altman. Preuves empiriques de biais : Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. Journal of the American Medical Association 1995 273 : 408-12.
Aveugle Augmentation Résultats complètement différents entre les études randomisées et non randomisées Ernst E, White AR. Acupuncture for back pain: A meta-analysis of randomised controlled trials. Arch Int Med 1998, 158 : 2235-2241.
Qualité du compte-rendu Augmentation Environ 25% Khan KS, Daya S, Jadad AR. The importance of quality of primary studies in producing unbiased systematic reviews. Arch Intern Med 1996,156 :661-6.

Moher D, Pham B, Jones A, et al. Does quality of reports of randomised trials affect estimates of intervention efficacy reported in meta-analyses ? Lancet 1998, 352 :609-613.
Duplication Augmentation Environ 20% Tramèr M, Reynolds DJM, Moore RA, McQuay HJ. Effect of covert duplicate publication on meta-analysis; a case study. BMJ 1997, 315: 635-40.
Geographie Augmentation Important pour ce qui est de certaines thérapies alternatives Vickers A, Goyal N, Harland R, Rees R. Do certain countries produce only positive results ? A systematic review of controlled trials. Control Clin Trial 1998, 19: 159-166.
Taille Augmentation Certains essais pourraient surestimer les effets du traitement d'environ 30% Moore RA, Carroll D, Wiffen PJ, Tramèr M, McQuay HJ. Quantitative systematic review of topically-applied non-steroidal anti-inflammatory drugs. BMJ 1998, 316: 333-8.

Moore RA, Gavaghan D, Tramèr MR, Collins SL, McQuay HJ. Size is everything - large amounts of information are needed to overcome random effects in estimating direction and magnitude of treatment effects. Pain 1998, 78: 217-220.
Statistiques Augmentation Ampleur inconnue, probablement modeste, mais spécialement important où le vote est utilisé Smith LA, Oldman AD, McQuay HJ, Moore RA. Teasing apart quality and validity in systematic reviews : an example from acupuncture trials in chronic neck and back pain. Pain 2000, 86: 119-132.
Validité Augmentation Ampleur inconnue, probablement modeste, mais spécialement important où le vote est utilisé Smith LA, Oldman AD, McQuay HJ, Moore RA. Teasing apart quality and validity in systematic reviews: an example from acupuncture trials in chronic neck and back pain. Pain 2000, 86: 119-132.
Langage Augmentation Ampleur inconnue, mais probablement important Egger M, Zellweger-Zähner T, Schneider M, Junker C, Lengeler C, Antes G. Language bias in randomised controlled trials published in English and German, Lancet 1997 350: 326-329.
Publication Augmentation Ampleur inconnue, probablement modeste mais important où il y a peu de preuves. M Egger, G Davey Smith. Under the meta-scope : potentials and limitations of meta-analysis. In M Tramèr, Ed. Evidence Based Resource in Anaesthesia and Analgesia. BMJ Publications, 2000.


La duplication

Les résultats de certaines études sont rapportés plus d'une fois. Ceci peut être se justifier pour tout un ensemble de raisons. Par exemple, il peut s'agir d'une suite tardive de l'étude ou d'une nouvelle analyse. Parfois, cependant, l'information sur les patients dans les études est rapportée plus d'une fois sans que cela soit évident, ni patent ni référencé. Seule l'information la plus imposante semble être reprise, parfois dans des papiers d'auteurs complètement différents. Une conséquence de la duplication voilée serait de surestimer les effets du traitement. (cf. tableau)


Pour aller plus loin :
- Bad Science. Ben Goldacre.
- Les influences inconscientes. De l'effet des émotions et des croyances sur le jugement. Ahmed Channouf.

A lire aussi :
- Le tour du monde de l'acupuncture.

Références:
1- Jadad AR, Moore RA, Carroll D, Jenkinson C, Reynolds DJM, Gavaghan DJ, McQuay HJ. Assessing the quality of reports of randomized clinical trials : is blinding necessary ? Control Clin Trial 1996, 17: 1-12.
2- Moore RA, Gavaghan D, Tramèr MR, Collins SL, McQuay HJ. Size is everything - large amounts of information are needed to overcome random effects in estimating direction and magnitude of treatment effects. Pain 1998, 78: 217-220.
3- A Vickers, C Smith. Incorporating data from dissertations in systematic reviews. Int J Technol Assess Health Care 2000 16:2: 711-713.
4- Jadad AR, McQuay HJ. Meta-analysis to evaluate analgesic interventions: a systematic qualitative review of the literature. J Clin Epidemiol 1996, 49:235-243.
5- Smith L, Oldman A. >Acupuncture and dental pain. Br Dent J 1999, 186: 158-159.

Ces articles pourraient aussi vous intéresser :