[Cet article a été coécrit par Michael R. Jenkins, professeur adjoint de marketing à l'Université d'État du Mississippi.]
Au sein du monde universitaire, un consensus semble se dégager : le système d'évaluation par les pairs, autrefois pilier de la recherche, est défaillant. Mais est-il irrémédiablement compromis ? Peut-être. À tout le moins, il est pertinent d'analyser les dysfonctionnements de sa forme actuelle. Toutefois, plutôt que d'abandonner tout espoir, nous pensons avoir trouvé une solution novatrice. Mais d'abord, examinons où le système a déraillé.
Au Moyen Âge, la plupart des recherches scientifiques étaient autoéditées, les érudits partageant leurs découvertes entre eux. Mais avec l'essor de la profession, cette pratique devint impraticable, et les revues scientifiques virent le jour pour diffuser l'information. Un chercheur avait une idée, menait des recherches, résumait ses conclusions et soumettait le manuscrit à une revue. Le ou les rédacteurs en chef l'examinaient et décidaient de le publier tel quel, d'exiger des corrections ou de le refuser. Au fil du temps, le nombre de chercheurs ayant explosé, tous soumis à une pression croissante pour publier – afin d'être embauchés, titularisés et obtenir des subventions – la tâche des rédacteurs de revues devint insurmontable. Il y avait tout simplement trop de soumissions pour toutes les examiner équitablement.
Ils ont donc eu l'idée de confier l'évaluation des articles à des équipes d'évaluateurs bénévoles, d'autres chercheurs du même domaine ou d'un domaine connexe, qualifiés (en théorie du moins) pour juger de la qualité des recherches examinées. Cela permettrait d'alléger la charge de travail des rédacteurs tout en conférant une légitimité supplémentaire au produit final. La pertinence de publier un article ne serait plus déterminée par une ou deux personnes, mais par un groupe d'experts « à l'aveugle ». Ainsi, le label « revue par les pairs » est devenu la référence absolue en matière de recherche scientifique. Une publication dans une revue à comité de lecture est depuis longtemps considérée comme incontestable, au point que les politiciens et les médias semblent persuadés de pouvoir remporter n'importe quel débat en se référant simplement à une recherche évaluée par les pairs.
Au départ, c'était un système plutôt efficace, et il a bien fonctionné pendant longtemps. Mais il semble aujourd'hui avoir atteint ses limites. Les critères d'obtention d'un poste permanent sont devenus plus quantitatifs. Internet a réduit les obstacles à la soumission d'articles, incitant davantage de chercheurs à en publier dans un plus grand nombre de revues. Le nombre de soumissions provenant d'universités asiatiques, africaines et du Moyen-Orient a explosé. Malgré la multiplication des revues et des évaluateurs, le système s'est effondré, comme tout système vaste et complexe finit par le faire. Nous le savons grâce à un problème identifié il y a 20 ans par John Ioannidis, chercheur à Stanford, et que l'on appelle désormais la « crise de la réplication ».
L'une des caractéristiques d'une science rigoureuse est la reproductibilité d'une expérience : un autre chercheur utilisant la même méthodologie obtiendra le même résultat, ce qui signifie que les conclusions sont à la fois valides et cohérentes. Mais comme l'affirmait Ioannidis dans son article fondateur de 2005 : « Pourquoi la plupart des résultats de recherche publiés sont fauxL'article (mis à jour en 2022) indiquait que la plupart des résultats de recherche publiés sont erronés. Les expériences ne peuvent être reproduites, ce qui remet en question leur validité.
D'autres chercheurs ont depuis contesté la thèse d'Ioannidis, notamment son emploi du terme « la plupart ». Les spécialistes des sciences sociales, en particulier, soutiennent que les expériences impliquant des sujets humains sont souvent impossibles à reproduire précisément parce que les individus sont par nature incohérents. Néanmoins, les chercheurs s'accordent généralement à dire que la crise de la reproductibilité est bien réelle, même si elle n'est pas aussi répandue que le suggère Ioannidis.
Quel est le rapport avec l'évaluation par les pairs ? De toute évidence, si le système fonctionnait comme prévu, avec des équipes d'experts reconnus vérifiant et revérifiant mutuellement leur travail, on pourrait s'attendre à ce que très peu d'études erronées passent entre les mailles du filet. Autrement dit, il n'y aurait pas de crise de la reproductibilité si l'évaluation par les pairs était réellement efficace.
Malheureusement, la fiabilité du système n'est même pas le problème majeur. À l'instar de nombreuses institutions, il s'est transformé en une chambre d'écho fortement politisée. Au lieu d'être un mécanisme permettant de déterminer et de diffuser la vérité grâce à un système de contrôle et d'équilibre académiques, l'évaluation par les pairs est devenue un instrument de promotion et d'imposition de l'orthodoxie. N'étant plus une communauté de chercheurs testant rigoureusement mais collégialement leurs hypothèses respectives, les rédacteurs et les évaluateurs de revues se sont autoproclamés gardiens du temple. Seuls ceux qui prononcent les mots de passe exacts sont admis.
Prenons l'exemple de la recherche climatique. Depuis au moins deux décennies, le consensus scientifique établit que le changement climatique d'origine anthropique constitue une menace existentielle pour l'humanité. Quiconque remet en question cette orthodoxie, quelle que soit la qualité de ses recherches ou la logique de ses arguments, éprouve d'énormes difficultés à publier ses résultats dans les revues scientifiques de référence. Les instances de sélection (en d'autres termes : les relecteurs) refusent tout simplement de les publier.
Et que dire de l'idéologie transgenre ? Avant même que l'on apprenne que l'Association mondiale des professionnels de la santé transgenre (WPATH) dissimulait et manipulait ses données, pourquoi si peu de chercheurs ont-ils remis en question l'affirmation selon laquelle la transition sociale, médicale ou chirurgicale des mineurs réduisait leurs souffrances ? Vous connaissez la réponse : ils savaient qu'ils ne pouvaient pas le faire sans compromettre leur carrière. Aujourd'hui encore, le simple fait de le souligner constitue un risque professionnel. Il ne s'agit pas de science, qui fait progresser la recherche de la vérité, mais de politique, qui l'entrave.
En toute honnêteté, il est facile de comprendre pourquoi cela se produit. Nous ne prétendons même pas que ce soit entièrement malveillant. C'est simplement la nature humaine. Les idées qui remettent en question la pensée établie ont toujours été impopulaires auprès de ceux qui la définissent, depuis Copernic et Martin Luther. Les nouvelles découvertes et les théories qui en découlent menacent de discréditer les théories de la génération précédente de chercheurs – et devinez qui joue principalement le rôle de relecteur ? Lorsque nous parlons de « politique », nous ne l'entendons pas nécessairement au sens partisan, mais plutôt au sens personnel : qui est lésé ?
Bien sûr, la politique partisane – et l'idéologie en particulier – entre souvent en ligne de compte. Même dans des disciplines moins politisées que la climatologie ou les études de genre – comme la comptabilité ou le marketing – les jeunes chercheurs doivent se plier aux exigences idéologiques de leurs aînés. Ils doivent rendre un hommage appuyé à des concepts tels que « diversité, équité et inclusion », « blancheur » et « populations marginalisées », même si ces concepts n'ont absolument rien à voir avec leurs recherches ou, pire encore, ne sont pas étayés par leurs résultats. Et bien sûr, s'ils veulent vraiment être publiés, ils trouveront un moyen d'intégrer leurs résultats à l'actualité politique du moment. C'est ainsi que l'on trouve des articles aux titres tels que « Comment le marketing axé sur la blancheur désavantage les consommateurs BIPOC » ou « Prendre en compte les populations marginalisées dans la recherche en gestion ». (L'un de ces titres est réel ; l'autre est fictif. Saurez-vous les distinguer ?)
Alors, que faire maintenant ? Nous pensons qu’il est temps de renouer avec le modèle médiéval de « communauté de savants », adapté au XXIe siècle. Certes, dans la plupart des disciplines, il est quasiment impossible de réunir tous les chercheurs pour qu’ils se partagent des manuscrits (comme peuvent en témoigner tous ceux qui ont déjà assisté à un congrès), mais grâce aux technologies modernes, les chercheurs peuvent bel et bien « partager » leurs manuscrits et faire circuler leurs travaux en cours avec des collègues du monde entier.
Notre idée consiste à créer des forums en ligne officiels pour chaque discipline, où les chercheurs peuvent publier des essais présentant leurs idées à n'importe quel stade de leur développement : cadre théorique, hypothèses, résultats de recherche (y compris la méthodologie) et extrapolations pour en tirer des implications ou des prédictions. D'autres chercheurs de la communauté peuvent commenter ces essais, formuler des critiques, apporter des informations complémentaires et suggérer de nouvelles pistes de recherche. Ils peuvent également mener eux-mêmes les expériences pour vérifier s'ils obtiennent des résultats similaires et en faire part à la communauté. Les auteurs initiaux peuvent ensuite utiliser ces informations pour approfondir leur sujet de recherche.
L'un des avantages de cette approche réside dans son caractère itératif, chaque chercheur s'appuyant sur les travaux de ses prédécesseurs. Un autre est que les chercheurs peuvent publier indépendamment de leurs résultats. On reproche souvent au système actuel d'évaluation par les pairs de ne permettre la publication qu'en cas de résultats positifs. Or, les résultats négatifs sont aussi des résultats et contribuent, à leur manière, à l'avancement des connaissances. De même que les chercheurs doivent connaître les résultats avérés pour consolider ces progrès, ils doivent également connaître les résultats invalidés afin d'éviter les mêmes écueils.
Les contributions aux forums seraient horodatées, permettant ainsi aux auteurs de prouver facilement la paternité des idées. Les messages seraient hyperliés pour faciliter et accélérer les recherches et les citations. Afin de dissuader les comportements malveillants, l'anonymat des contributeurs et des commentateurs ne serait pas garanti. Les forums seraient modérés avec souplesse pour s'assurer que les messages respectent les normes académiques, notamment en matière de courtoisie, de respect des règles de bienséance et de citation des sources. Toutes les idées seraient toutefois les bienvenues. Il n'y aurait pas de censure. La communauté s'autorégulerait, pratiquant un « rationnement » (pour reprendre le terme des réseaux sociaux) plutôt que de censurer les idées jugées « mauvaises ».
De toute évidence, pour que ce système finisse par remplacer le système actuel d'évaluation par les pairs, les universités devraient l'adopter et trouver un moyen d'évaluer la productivité des chercheurs aux fins de l'octroi de la titularisation, etc. — peut-être en fonction du nombre de publications et de la réaction de la communauté à ces publications.
Nous pensons toutefois que c'est la voie à suivre, et les universités, les disciplines et les sociétés savantes auraient tout intérêt à s'y rallier. Le système actuel est devenu obsolète, entravant la recherche de la vérité au lieu de la soutenir.
Rejoindre la conversation:
Publié sous un Licence internationale Creative Commons Attribution 4.0
Pour les réimpressions, veuillez rétablir le lien canonique vers l'original Institut Brownstone Article et auteur.
