La reproductibilité des études scientifiques est un élément essentiel de leur validité. C’est pourquoi la recherche se préoccupe en permanence de l’améliorer. Quelle est la situation ? Quels sont les obstacles à la reproductibilité ? Comment l’améliorer ? De quels outils dispose-t-on ? Eléments de réponse.
La reproductibilité d’une étude scientifique est une condition essentielle de sa validité. C’est pourquoi le monde de la recherche publie régulièrement des analyses sur la reproductibilité des études et tente de progresser dans ce domaine.
Quelle est la situation ?
La revue scientifique Nature a récemment interrogé 1576 scientifiques de tous les domaines (de la physique à la médecine en passant par la chimie et la biologie) sur la reproductibilité des études. Il apparaît qu’il est arrivé à plus de la moitié de ces scientifiques de ne pas pouvoir répéter leurs propres résultats, et aux deux-tiers ceux d’un autre scientifique !
Face à ce problème la grande majorité des répondants ont mis en place des procédures comme :
- la répétition des études en interne (efficace, mais couteuse et donc limitée aux projets les plus innovants)
- une information plus complète
- une soumission préalable du projet d’étude à un tiers (avec un risque de perte de confidentialité)
- un usage optimisé des statistiques.
Pour tenter de comprendre l’origine de ce problème de reproductibilité, une étude publiée en 2013 a examiné la qualité de l’information donnée dans le paragraphe Matériel et méthodes des publications scientifiques en recherche biomédicale. Or, il apparaît que seule la moitié (54%) des éléments intervenants dans l’étude étaient identifiables sans risque d’erreur !
Parmi les éléments de l’étude les mieux identifiés, on trouve les animaux (souris, mouches, ou poisson-zèbre), parmi les plus mal identifiés on trouve les anticorps et les lignées cellulaires (voir figure).
Reproduire une étude sans être sûr de détenir tous les éléments utilisés pour sa réalisation est évidemment une gageure et il y a là matière à progrès.
Des lignes directrices pour progresser
Prenant en compte ces informations, et d’autres, le NC3Rs britannique (Centre national sur les 3Rs) a rédigé des recommandations pour améliorer la qualité des publications scientifiques qui utilisent des animaux. Elle sont regroupées au sein du guide ARRIVE pour “Animal Research: Reporting of In Vivo Experiments” et comprennent vingt articles décrivant l’information que toute publication scientifique utilisant des animaux devrait donner, à savoir le nombre et les caractéristiques des animaux utilisés, les méthodes expérimentales, statistiques et analytiques.
Ce même centre a mis en ligne fin 2015 un logiciel d’aide à la conception des projets d’étude, EDA pour « Experimental Design Assistant » qui vise aussi à améliorer la reproductibilité des études.
Ces outils encore récents ne sont sans doute ni parfaits ni applicables dans tous les domaines, mais ils marquent la volonté des chercheurs de faire progresser la reproductibilité, problème probablement inhérent à la recherche scientifique.
Hélène Bour
En savoir plus :
- https://www.nature.com/articles/533452a
- http://blog.science-infuse.fr/post/Pour-une-science-pleinement-reproductible
- https://www.nc3rs.org.uk/our-portfolio/arrive-animal-research-reporting-vivo-experiments
- https://peerj.com/articles/148/