Mot-clef du jour : « que veut dire « prendre tout au premier degré »"
Article original de Will J Grant et Rod Lamberts, publié le 2 octobre 2014 sur The Conversation et IFLScience.
COMPRENDRE LA RECHERCHE
Qu’entend-on exactement par « recherche » et comment cette dernière nous aide-t-elle à améliorer notre compréhension des choses ? Appréhender ce qui ressort d’une nouvelle découverte peut s’avérer complexe. Passons donc en revue quelques méprises communes.
Avez-vous déjà essayé d’interpréter des résultats scientifiques récents, de saisir ce qu’ils signifiaient dans un contexte global ?
Peut-être êtes-vous très intelligents et n’avez-vous jamais commis d’erreur. Mais il est plus probable que, comme la plupart des gens, vous soyez parfois tombés dans un de ces dix pièges :
1. Eh oh ! Ce n’est jamais qu’une seule étude !
Il ne vous viendrait pas à l’idée de juger l’ensemble des vieux messieurs en vous basant uniquement sur Rolf Harris* ou Nelson Mandela. De même, vous ne devriez pas statuer sur un sujet entier en vous reposant sur une seule étude.
Si vous le faites délibérément, on appelle ça une sélection malhonnête (cherry picking). Si c’est involontaire, vous sombrez dans la généralisation abusive (exception fallacy).
Un excellent exemple très connu de ces deux biais est le prétendu lien, largement infirmé, entre le vaccin contre la rougeole, les oreillons et la rubéole (ROR) et l’autisme.
Les personnes qui acceptent aveuglément les résultats de la publication (maintenant retirée) d’Andrew Wakefield (alors que toutes les autres études les ont démentis) sont dans la généralisation abusive. Ceux qui les ont volontairement sélectionnés pour s’opposer à la vaccination se sont rendus coupables de sélection malhonnête.
* : NDT : Artiste multidisciplinaire australien, condamné pour plusieurs agressions sexuelles sur mineurs.
2. Significatif ne veut pas dire important
Quelques effets peuvent être statistiquement significatifs, mais tellement faibles qu’ils s’avèrent inutiles en pratique.
Les associations (telles les corrélations), ont une forte tendance à nous faire tomber dans ce piège, tout particulièrement quand les études sont réalisées sur un grand nombre de personnes. Si vous avez beaucoup de participants à une expérience, les associations sont souvent abondantes, mais pas forcément éloquentes.
Par exemple, voyez celle qui, sur un échantillon de 22 000 personnes, a trouvé une association significative (p<0.00001) entre le fait de prendre de l’aspirine et la diminution des attaques cardiaques. L’effet lui-même était minuscule.
La différence de probabilité de faire une attaque cardiaque entre les gens qui prenaient de l’aspirine tous les jours et ceux qui en prenaient moins était inférieure à 1%. Un effet si faible laisse quelque peu dubitatif quant à l’utilité d’avaler de l’aspirine… surtout si l’on tient compte des possibles effets secondaires !
3. Et important ne veut pas dire utile
Imaginons un traitement capable de diminuer de 50% le risque d’avoir une maladie. Mais si ce dernier était déjà drastiquement faible (disons 0.002% sur toute une vie), réduire encore ce chiffre peut sembler d’un intérêt discutable.
Ce qu’on appelle le Nombre de Sujets à Traiter (NST) permet de retourner la question : si, dans des conditions normales, deux personnes prises au hasard dans un échantillon de 100 000 présentent la pathologie durant leur vie, il faudra que l’ensemble de ces 100 000 personnes soient soumises au traitement pour faire passer ce nombre à… un malade.
4. Jugez-vous les extrêmes en fonction de la majorité ?
La biologie et la recherche médicale ont le don de nous rappeler que toutes les tendances ne sont pas linéaires.
Nous savons tous que les personnes consommant trop de sel présentent un risque de maladie cardio-vasculaire plus élevé que celles dont la consommation est modérée.
Mais vous savez quoi ? Les personnes consommant très peu de sel voient également leur probabilité de contracter une pathologie cardio-vasculaire augmenter.
En effet, la courbe correspondante a une forme de U, pas de ligne droite ascendante. Les personnes à chaque extrémité du graphe ont sans doute des comportements très différents.
5. Est-ce que par hasard vous ne désireriez pas prouver cet effet ?
Même sans vraiment le vouloir, nous remarquons et donnons plus de crédit aux informations qui confortent nos opinions, pensées et croyances a priori.
Les exemples de ce biais dit « de confirmation » sont très nombreux, mais des expériences comme celle-ci nous révèlent à quel point ses effets peuvent être dérangeants.
Dans ce cas précis, plus les témoins croyaient qu’une personne possédait un haut niveau d’éducation, plus claire ils se sont (faussement) rappelés la couleur de sa peau.
6. Vous êtes vous fait piéger par du prêchi-prêcha scientifique ?
Tout le monde sait que le jargon scientifique est assez séduisant. Même les publicitaires nous le piquent !
Mais il s’agit là d’un effet avéré pouvant biaiser notre capacité à interpréter la recherche.
Dans une étude, des novices ont trouvé des explications psychologiques bidon du comportement plus convaincantes lorsqu’elles étaient associées à des termes inappropriés issus des neurosciences. Et si vous ajoutez à ça un joli scan IRM, je ne vous raconte pas !
7. La qualité n’est pas la quantité, et vise versa.
Pour une raison quelconque, les chiffres nous semblent plus objectifs qu’une description des choses pleine d’adjectifs.
Par exemple, nous savons que les gens n’apprécient pas de faire la queue à la banque. Si nous cherchions à améliorer cette expérience désagréable, nous pourrions être tentés de mesurer les périodes d’attente, puis de faire notre maximum pour les diminuer.
Mais, pratiquement, vous ne parviendrez à les réduire que jusqu’à un certain point. Et cette approche purement quantitative risquerait de vous faire passer à côté d’autres possibilités.
Car si vous demandiez aux gens de décrire comment ils ressentent la situation, vous pourriez bien découvrir que le problème n’est pas tant le temps d’attente que le confort de cette dernière.
8. Les modèles, par définition, ne sont pas des représentations parfaites de la réalité.
Un sujet de discorde récurrent entre ceux qui refusent de croire au réchauffement climatique et ceux qui comprennent réellement les preuves à leur disposition est l’efficacité et la représentativité des modèles climatiques.
Nous pouvons discuter de ce problème en nous intéressant à des modèles plus simples. Prenez par exemple celui de l’atome. Ce dernier est fréquemment représenté comme un noyau tout calme et stable entouré d’électrons se baladant selon de jolies orbites bien nettes.
Ce modèle ne reflète pas la réalité de ce à quoi ressemblent vraiment les atomes. Mais il permet d’expliquer des aspects fondamentaux de leur fonctionnement, ainsi que de celui des éléments qui les constituent.
Ça ne signifie pas que personne ne s’est jamais fait d’idées fausses à propos des atomes en se basant sur ce modèle simplifié. Mais des enseignements, des études et des expériences plus poussés donnent la possibilité de venir à bout de ces erreurs.
9. Le contexte est important
Un jour, Harry Truman, ancien président des États-Unis, s’est plaint de cette tendance qu’avaient ses économistes à lui faire de super suggestions… puis d’enchaîner immédiatement d’un « ceci dit, d’un autre côté… »
Un scientifique donné – ou une discipline scientifique donnée- pourra probablement vous abreuver d’excellents conseils de son point de vue. Mais, lorsqu’on essaie de travailler sur un problème social, politique ou personnel complexe, il est souvent bon de tenir compte de multiples disciplines et perspectives.
Considérons l’exemple des lois relatives au port du casque à vélo. On niera difficilement que, si quelqu’un a un accident de vélo et se cogne la tête, il s’en sortira sans doute mieux s’il porte un casque.
Mais si nous nous intéressons aux bénéfices sanitaires à l’échelle de la société, des études suggèrent que, si on oblige les gens à porter un casque, une partie de la population décidera de ne plus faire de vélo tout court.
Si nous mettons ça en parallèle avec le nombre d’accidents dans lesquels le casque a vraiment fait une différence en matière de santé, nous découvrirons peut-être que son usage a en réalité un impact négatif sur la santé publique.
Des études tout à fait valables et fiables peuvent donc démontrer que les lois sur le port du casque sont à la fois bonnes et mauvaises pour la santé.
10. Et ce n’est pas parce que ça a été examiné par les pairs que c’est vrai
L’examen par les pairs (peer review) est considéré comme une référence dans la recherche scientifique de haut niveau (et dans la recherche de haut niveau en général).
Mais, même en partant du principe que les examinateurs ne font pas d’erreurs, ou que les politiques éditoriales ne sont jamais biaisées (en tout cas pas délibérément), le fait qu’un article soit accepté dans une publication basée sur ce mode de sélection garantit simplement que ce dont il parle est assez carré pour être rendu public, ou assez pertinent pour permettre à des experts de le tester, de l’affiner et de le remettre en question.
Cela ne signifie pas que c’est parfait, complet ou correct. L’examen par les pairs est le début de la vie publique d’une étude, pas son point culminant.
Et enfin…
La recherché est une démarche humaine et, en tant que telle, est sujette à toutes ses beautés et toutes ses horreurs.
Comme dans chaque aspect de notre existence, à la fin, nous en sommes réduits à prendre nos propres décisions. Et, navrés, mais même l’usage le plus approprié de la meilleure étude du monde ne nous décharge pas de cette merveilleuse et effrayante responsabilité.
Nous serons toujours, à un moment ou un autre, empêtrés dans certaines ambigüités. Alors, comme dans toute aventure humaine, faites de votre mieux par vous-même, mais, si vous vous retrouvez coincé, demandez leur avis directement à des experts reconnus. Ou, au moins, basez-vous sur leurs travaux.