|
🌐 Lire sur Heidi.news 🌐
➢ Dans un monde idéal, un résultat scientifique devrait pouvoir être répliqué de façon indépendante. En pratique, c’est loin d’être toujours le cas.
➢ Si une équipe n’est pas capable de répliquer un résultat, il est possible que ce résultat:
● Soit un faux positif, c’est-à-dire un miroir aux alouettes,
● Dépende étroitement de l’équipe initiale,
● S’avère faux dans la nouvelle population d’étude…
➥ Dans tous les cas, on peut considérer ce résultat comme sans grand intérêt.
Le signal d’alerte. En 2005, l’épidémiologiste John Ioannidis, à Stanford, met la focale sur ce problème avec un article provocant: «Pourquoi la plupart des résultats scientifiques sont faux».
➢ ⚡ Ce travail a fait l’effet d’un électrochoc, et reste à ce jour l’un des plus cités en sciences, toutes disciplines confondues: près de 12’000 fois.
➢ Quelques facteurs de risque: étude sur petite population, effet démontré de faible ampleur, protocoles et analyses un peu ad hoc, existence de forts enjeux financiers ou idéologiques…
➥ Les méthodologies inadaptées, mais aussi la propension des revues à ne publier que des résultats positifs et la culture du «publish or perish» sont pointées du doigt.
Exemple ①. 💰 Les riches moins éthiques? En 2012, une équipe de recherche en psychologie sociale de Berkeley publie un article dans PNAS montrant que les personnes de classe sociale élevée seraient plus susceptibles d’adopter des comportements non éthiques.
➢ Dans l’une des sept études à l’appui de ce résultat, les expérimentateurs ont par exemple observé, en voiture, une plus forte tendance à couper la priorité aux intersections.
➢ Séduisant, le résultat fait du bruit dans le domaine (cité près de 1300 fois), et les gros titres dans la presse.
➢ En janvier 2023, une équipe de l’université Bocconi (Milan), échoue à répliquer ce résultat.
Exemple ②. 🌕 Suicide et pleine lune. Une équipe de recherche finlandaise s’intéresse au lien entre la phase de la lune et le suicide, en étudiant le registre finlandais de 1988 à 2011.
➢ Leur étude, publiée en 2021 dans Molecular Psychiatry, montre que les femmes se suicideraient davantage pendant la pleine lune… en hiver… et avant l’âge de 45 ans.
➢ Une telle conjonction de facteurs est toujours un peu suspecte.
➢ Ces résultats n’ont pu être répliqués ni chez les Autrichiens, ni chez les Suédois.
Panique à bord. Confrontés à des difficultés de ce genre, plusieurs domaines des sciences ont commencé à s’inquiéter, en médecine, biologie et surtout en psychologie.
➢ En 2015, est paru dans Science le résultat d’une collaboration de 270 chercheurs, qui visait à répliquer 100 expériences célèbres en psychologie. 🚨 Un tiers environ (36%) a pu être l’être!
➢ Une initiative similaire sur la biologie du cancer a réussi à reproduire un peu moins de la moitié (46%) des 50 expériences analysées, après moult déconvenues.
➢ En 2016, la revue Nature a réalisé un sondage auprès de 1500 chercheurs. La question: y a-t-il une crise de la reproductibilité dans votre domaine?
● Pour un gros tiers (38%), c’est oui, mais cela reste léger. 🤏
● Pour plus de la moitié (52%) c’est oui, et c’est un gros problème. ✋
Réparer la science. Depuis les années 2010, de nombreuses initiatives sont nées pour améliorer la qualité de la recherche scientifique.
➢ La fondation philanthropique Laura and John Arnold Foundation (LJAF), créée par un couple de milliardaires américains, joue un rôle clé. Elle a notamment lancé le Centre pour une science ouverte, vaisseau amiral des recherches en métascience.
➢ Leur outil le plus ambitieux: l’Open Science Framework (OSF), plateforme d’échanges et de partage entre chercheurs, qui permet d’échanger des protocoles et des données. Elle est désormais d’utilisation courante.
Le petit dernier. Autre initiative, en plein essor: le registered report (rapport enregistré).
➢ 💡 L’expertise par les pairs, qui seule permet la publication en revue scientifique, est dédoublée. Une première expertise a lieu avant que la recherche ne commence, sur la base du protocole.
➢ Florien Naudet, psychiatre et chercheur en méta-recherche, auteur d’un webinaire à l’Inserm sur le sujet, juge ce dispositif «particulièrement intéressant»:
«Environ 300 journaux, dont la revue Nature très récemment, ont accueilli ce format de publication. (…) Cela vise à connecter de façon beaucoup plus claire le résultat final avec l’idée initiale.»
🌐 Lire sur Heidi.news 🌐 (FR)
|
