Recherches. Quel crédit peut-on accorder aux études scientifiques publiées dans les revues les plus prestigieuses ? Même si leurs procédures de sélection sont les meilleures, même si le filtrage qu’elles ont mis en place est très efficace, il est toujours possible que des études soutiennent des hypothèses fausses et que personne ne les remette en question avant publication.
Depuis quelque temps, la communauté scientifique s’intéresse aux tentatives de reproduire des études déjà publiées. Le Reproducibility Project : Psychology a essayé de dupliquer 97 études en psychologie et a constaté, en 2015, que seules 36 % d’entre elles pouvaient être confirmées. L’Experimental Economics Replication Project a fait de même, en 2016, pour 18 études en économie expérimentale, avec un taux de confirmation de 61 % – plus élevé, mais loin d’être écrasant.
Une équipe de chercheurs vient de publier une duplication de 21 études phares en sciences sociales expérimentales, publiées entre 2010 et 2015 dans Nature et Science, les deux revues scientifiques les plus prestigieuses (« Evaluating the replicability of social science experiments in “Nature” and “Science” between 2010 and 2015 », par Colin F. Camerer et al., « Nature Human Behaviour Letters », 27 août 2018). L’une des particularités de ce projet est que la taille des échantillons utilisés pour la duplication est environ cinq fois plus grande que celle des échantillons des études d’origine, ce qui augmente sensiblement la fiabilité de la reproductibilité.
Des progrès nécessaires
Treize d’entre elles confirment, de façon statistiquement significative, les effets constatés dans l’expérience originale, soit un taux de 62 %. Mais l’ampleur de l’effet confirmé pour ces 13 études est inférieure de moitié à l’ampleur constatée dans la première étude !
Certes, il peut y avoir des faiblesses dans la mise en œuvre des tentatives de duplication. Mais, globalement, la conclusion semble être que la réalisation et la publication d’études scientifiques, au moins en sciences sociales, a besoin de faire de grands progrès : il est encore trop facile de publier des études annonçant des effets expérimentaux qui, en réalité, n’existent pas ou sont plus faibles qu’on ne l’a prétendu…
Mais les auteurs ont complété leur démarche en recrutant 397 chercheurs pour mener une expérience destinée à mesurer le degré de confiance que la communauté scientifique accordait aux études originales. Avant que les résultats de la duplication soient connus, ces cobayes ont joué au jeu du prediction market (« marché de prédiction »), où ils pouvaient acheter ou vendre des « actions » pour chacune des études originales.
Il vous reste 34.01% de cet article à lire. La suite est réservée aux abonnés.
