Rendre publique la totalité des données d’une recherche. Annoncer à l’avance ce que sont les objectifs de la recherche. Et surtout, cesser d’évaluer l’importance d’une recherche sur la base du « facteur d’impact » de la revue qui l’a publiée. Ce sont trois des pistes de solution avancées dans la dernière décennie pour combattre un problème gênant : le grand nombre de recherches que d’autres chercheurs n’arrivent pas à reproduire.
On a commencé à entendre parler de « crise de la reproductibilité » en 2011 en psychologie: d’une part, une recherche a démontré combien il était facile pour un chercheur dans cette discipline de trouver des « faux positifs », soit des données qui lui « prouveraient » qu’il a raison; d’autre part, il y a eu un débat acrimonieux autour d’une expérience «classique» de 1996, citée plus de 2000 fois depuis, mais jamais reproduite.
Par le mot « reproductibilité », on fait référence à une réalité fondamentale aux avancées scientifiques depuis des siècles : pour être acceptable, une « découverte » doit pouvoir être reproduite par d’autres chercheurs. Autrement dit, une seule recherche pour une affirmation « révolutionnaire », ça ne suffit pas.
Mais l’idée d’une crise de la reproductibilité a gagné d’autres disciplines que la psychologie. Les études sur la nutrition ont ainsi perdu beaucoup de leur lustre dans la dernière décennie, un trop grand nombre d’entre elles semblant être faites sur mesure pour attirer l’attention du public et des médias, au détriment de leurs qualités scientifiques.
Enfin, bien qu’on se doutait depuis longtemps qu’une bonne partie des recherches biomédicales dites « préliminaires » n’aboutissaient pas à des percées prometteuses lorsqu’on fouillait plus en profondeur, l’ampleur du problème a surpris, raconte une journaliste du New Scientist : en 2011, une étude interne de la compagnie Bayer concluait que les deux tiers des pistes suivies par la compagnie à partir de recherches universitaires, n’aboutissaient pas. En 2012, la compagnie Amgen ajoutait que sur 53 études jugées importantes, seulement 5 avaient pu être reproduites. C’est en partie la raison pour laquelle, dans la dernière décennie, des journalistes scientifiques se sont mis à marteler encore plus souvent qu’avant qu’il faudrait être très prudent avant de parler d’une étude qui ne porte « que » sur des souris. Ou pire encore, avant de monter en épingle ses résultats « encourageants ».
Dernier facteur: les pressions exercées sur les chercheurs par le système des universités et des organismes subventionnaires pour publier le plus souvent possible —le fameux « publier ou périr ». Il y a par exemple longtemps qu’on constate un biais vers les résultats « positifs », parce que les chercheurs dont l’étude a abouti à des résultats négatifs seront moins enclins à prendre du temps pour écrire l’article. Et il y a longtemps qu’on se plaint de la tentation qu’ont certaines revues à monter en épingle certains titres, pour attirer davantage l’attention. Une piste de solution possible: imposer un « pré-enregistrement » des recherches, qui obligerait les chercheurs à décrire leur hypothèse et leurs objectifs, et qui les empêcherait d’en changer en cours de route, pour satisfaire aux critères de certaines revues.
Autre piste de solution possible: cesser d’accorder autant d’importance, dans les évaluations des chercheurs, au « facteur d’impact » des revues —c’est-à-dire qu’une publication dans une revue à haut facteur d’impact donne plus de « points » pour l’avancement de la carrière, augmentant la tentation de publier des recherches aux sujets plus « accrocheurs ».
L’approche du « pré-enregistrement » est notamment moussée par le Réseau reproductibilité, un organisme britannique qui s’est donné pour mission de proposer des réformes à la façon de faire du milieu scientifique. Le Center for Open Science, un organisme américain, propose une « étiquette » pour identifier les recherches qui ont été « pré-enregistrées », et une autre pour celles dont les chercheurs ont accepté de partager la totalité de leurs données. Le National Institutes of Health, le plus gros organisme subventionnaire de la recherche en santé aux États-Unis, imposera l’ an prochain que tous les récipiendaires partagent leurs données.
Dans le reportage récent du New Scientist, la journaliste scientifique Clare Wilson conclut que toutes les personnes concernées par ces réformes semblent s’entendre pour dire qu’il y a eu des progrès pour répondre aux « signaux d’alarme » entendus dans la dernière décennie. « Presque tous ont dit que c’était bien parti — mais qu’il y avait encore beaucoup de chemin à faire ».
