Cochrane fact-checked avec des résultats absurdes

Le 17 février fact-checker Iria Carballo-Carbajal, neuroscientifique de formation, mais apparemment sans formation en épidémiologie, a publié un « fact-checking » article sur le site Web des commentaires sur la santé. Dans son titre, Carballo-Carbajal fait la déclaration suivante : « De multiples études montrent que les masques faciaux réduisent la propagation du COVID-19 ; une revue Cochrane ne démontre pas le contraire.

Cet article est maintenant utilisé par les entreprises de médias sociaux pour supprimer toutes les références à l'étude Cochrane. J'en ai pris connaissance le 10 mars lorsque j'ai reçu une notification indiquant qu'un message d'un membre d'un groupe Facebook que je gère contenait de "fausses informations".

Le message faisait référence à un avis article sur la revue Cochrane dans le , publié le 10 février. La ressource de «vérificateur de faits indépendant» à laquelle il est fait référence était l'article susmentionné de Carballo-Carbajal. Obtenir un tampon de vérification des faits peut être un problème sérieux pour un journal, pas moins pour une institution scientifique. Par conséquent, il n'est pas surprenant que déjà le 10 mars la rédactrice en chef de Cochrane, Karla Soares-Weiser, ait publié une déclaration essayant de minimiser les résultats de l'étude, affirmant à tort que l'étude ne visait qu'à évaluer l'efficacité des interventions pour promouvoir le port du masque, alors que le clairement indiqué objectif de l'étude est d'évaluer l'efficacité des interventions physiques elles-mêmes, pas seulement l'efficacité de leur promotion.

Le même jour le a publié un pièce affirmant dans le titre que les masques fonctionnent certainement, mais pour la plupart dédiés à l'auteur de l'étude Cochrane, le Dr Tom Jefferson. Par exemple, l'article affirme que Jefferson a déclaré dans un interview qu'il n'y a aucune preuve que le virus SARS-CoV-2 est aéroporté, alors qu'il dit en fait qu'il existe de nombreuses voies de transmission et que des preuves supplémentaires sont nécessaires pour déterminer précisément comment la transmission se produit.

Cette chaîne d'événements est un exemple étonnamment clair du fonctionnement de l'industrie de la censure. C'est d'autant plus choquant que l'article de « vérification des faits » de Carballo-Carbajal est gravement erroné, sur le plan factuel, logique et éthique.

1. L'homme de paille

Carballo-Carbajal commence par créer un homme de paille, dans ce cas une réclamation attribuée au Dr Robert Malone, se référant à une récente poster sur son blog. Sous le titre "Allégation", la prétendue allégation est énoncée ainsi : "Les masques faciaux sont inefficaces pour réduire la propagation du COVID-19 et d'autres maladies respiratoires, une revue Cochrane le démontre." Cette affirmation, citée en plus d'une photo du Dr Malone, est introuvable dans son article de blog.

Comme si cela ne suffisait pas, poursuit Carballo-Carbajal, présentant ce qu'elle appelle une "affirmation complète :" l'examen "n'a pas réussi à trouver même un" effet modeste "sur le taux d'infection ou de maladie :" "le CDC a grossièrement exagéré les preuves à l'appui des mandats de masque .”

Le problème avec cela est que si le Dr Malone est correctement cité dans la première partie du paragraphe, la seconde est quelque chose qu'il ne dit tout simplement pas dans son article de blog.

2. L'ad hominem

Carballo-Carbajal prend alors sur elle d'attaquer le Dr Malone, affirmant qu'il a répandu "de la désinformation sur les vaccins Covid-19", faisant référence à un autre article, également publié par Health Feedback. Maintenant, en quoi consiste la prétendue désinformation, selon cet article ? Le article est une «vérification des faits» d'un Washington Times article d'opinion du Dr Malone et du Dr Peter Navarro publié en 2021, où ils s'opposent à la politique de vaccination universelle du gouvernement américain, arguant qu'elle est basée sur quatre hypothèses erronées. Premièrement, que la vaccination universelle peut éradiquer le virus, deuxièmement que les vaccins sont très efficaces, troisièmement qu'ils sont sûrs et quatrièmement que l'immunité médiée par le vaccin est durable.

Carballo-Carbajal aurait difficilement pu avoir moins de chance avec sa référence. Il est maintenant parfaitement clair que la vaccination universelle ne peut pas éradiquer le virus, que l'immunité médiée par le vaccin diminue très rapidement, au point même de devenir négative, à mesure que l'infection et le cannabis et réinfection et le cannabis ont déjà montré. Le fait que les vaccins ne soient pas « (presque) parfaitement efficaces », citant l'article de Malone et Navarro, est évident depuis longtemps ; c'est en fait la raison pour laquelle ils ne peuvent pas éradiquer le virus.

Quant au troisième point, c'est ce que disent Malone et Navarro dans leur article: « La troisième hypothèse est que les vaccins sont sûrs. Pourtant, les scientifiques, les médecins et les responsables de la santé publique reconnaissent désormais des risques rares mais en aucun cas anodins. Les effets secondaires connus comprennent des affections cardiaques et thrombotiques graves, des perturbations du cycle menstruel, la paralysie de Bell, le syndrome de Guillain-Barré et l'anaphylaxie. En d'autres termes, ils ne sont pas en sécurité, ils ont beaucoup connu effets secondaires rares, et cela devient en fait plus clair tandis que le temps passe.

Bref, Carballo-Carbajal tente de disqualifier le Dr Malone en l'accusant de « désinformation » sur autre chose que le sujet de son article. Il s'agit de la tactique ad-hominem classique presque universelle dans les pièces de «vérification des faits». Son échec est spectaculaire, car toutes les prétendues "désinformations" sont désormais des faits déjà vérifiés.

3. L'argumentation

Le résumé principal de Carballo-Carbajal (y compris "Détails" et "Clé à emporter") est le suivant :

Les affirmations selon lesquelles les masques faciaux sont inefficaces pour réduire la propagation du COVID-19 sur la base d'une revue Cochrane n'ont pas pris en compte les limites de la revue. Alors que de nombreux utilisateurs ont présenté cette revue comme les preuves de la plus haute qualité, les études individuelles qu'elle a évaluées variaient considérablement en termes de qualité, de conception des études, de populations étudiées et de résultats observés, ce qui a empêché les auteurs de tirer des conclusions définitives. 

Les essais contrôlés randomisés sont considérés comme l'étalon-or lors de l'évaluation de l'efficacité d'une intervention. Cependant, ce type d'étude peut varier considérablement en qualité, en particulier dans les interventions complexes telles que les masques faciaux, affectant la fiabilité des résultats. Dans ce contexte, de nombreux scientifiques considèrent que les essais contrôlés randomisés doivent être considérés comme faisant partie de preuves plus larges, y compris d'autres plans d'étude. Lors de la prise en compte de ces études, les preuves suggèrent que l'utilisation généralisée du masque peut réduire la transmission communautaire du SRAS-CoV-2, en particulier lorsqu'elle est combinée à d'autres interventions telles que le lavage fréquent des mains et l'éloignement physique.

Je vais maintenant diviser cette affirmation en plusieurs parties, puis vérifier la validité de chaque partie. Nous devons garder à l'esprit que la source citée est le billet de blog du Dr Malone, donc toute référence à des "allégations" doit être faite au billet de blog de Malone, qui est la seule source citée. Les références à des sources non identifiées, telles que "de nombreux sites Web et publications sur les réseaux sociaux" doivent être ignorées pour la raison évidente qu'aucune référence n'est fournie :

1. Déclaration : Le Dr Malone affirme que la revue Cochrane montre que les masques sont inefficaces pour réduire la propagation du Covid-19.

Discussion : Comme indiqué ci-dessus, le Dr Malone ne fait pas cette affirmation. Au lieu de cela, il revendique l'étude "n'a pas réussi à trouver même un" effet modeste "sur le taux d'infection ou de maladie." Il existe une distinction essentielle entre affirmer que A ne fonctionne pas et affirmer que A n'a pas fait ses preuves. Les deux n'ont pas le même sens.

Verdict : la déclaration de Carballo-Carbajal est fausse.

2. Déclaration : Le Dr Malone ne tient pas compte des limites de l'examen lorsqu'il formule cette affirmation.

Discussion : Pour commencer, le Dr Malone ne fait jamais l'allégation mentionnée, mais une affirmation différente. Néanmoins, dans son article de blog, il cite clairement la clause de non-responsabilité des auteurs de l'étude sur l'incertitude concernant les effets des masques faciaux : "La certitude faible‐modérée des preuves signifie que notre confiance dans l'estimation de l'effet est limitée et que l'effet réel peut être différent de l'estimation observée de l'effet."... « [l]e risque élevé de biais dans les essais, la variation de la mesure des résultats et la conformité relativement faible aux interventions au cours des études empêchent de tirer des conclusions fermes et de généraliser les résultats à la pandémie actuelle de COVID‐19.  Il est donc faux que le Dr Malone « n'ait pas tenu compte des limites de l'examen."

Verdict : la déclaration de Carballo-Carbajal est fausse.

3. Déclaration : « [L]es études individuelles […] évaluées [dans la revue] variaient considérablement en termes de qualité, de conception des études, de populations étudiées et de résultats observés, […] [empêchant] les auteurs de tirer des conclusions définitives .”

Débat : Le étude les résultats sont clairs : "Il existe des preuves de faible certitude issues de neuf essais (3,507 0.99 participants) indiquant que le port d'un masque peut faire peu ou pas de différence dans l'issue du syndrome grippal (SG) par rapport à l'absence de masque (rapport de risque (RR) 95, 0.82 % intervalle de confiance (IC) 1.18 à 0.91 Il existe des preuves de certitude modérée que le port d'un masque fait probablement peu ou pas de différence sur le résultat de la grippe confirmée en laboratoire par rapport à l'absence de masque (RR 95, IC à 0.66 % 1.26 à 6 ; 3,005 essais ; 95 2 participants). … L'utilisation d'un respirateur N1.10/P95 par rapport à un masque médical/chirurgical ne fait probablement que peu ou pas de différence pour le résultat objectif et plus précis de l'infection grippale confirmée en laboratoire (RR 0.90, IC à 1.34 % 5 à 8,407 ; données probantes de certitude modérée ; XNUMX essais ; XNUMX XNUMX participants).

Ces résultats sont répétés dans les conclusions des auteurs, en ajoutant l'avertissement que "[l]e risque élevé de biais dans les essais, la variation de la mesure des résultats et la conformité relativement faible aux interventions au cours des études empêchent de tirer des conclusions fermes et de généraliser les résultats à la pandémie actuelle de COVID‐19."

Cet avertissement est la goutte d'eau à laquelle Carballo-Carbajal s'accroche de toutes ses forces. Mais comme l'a expliqué l'auteur principal de l'étude, cela ne change pas les résultats de l'étude, cela indique seulement que les résultats peuvent être affectés par des incertitudes découlant des limites des études utilisées. Dans ses propres mots :

« Cela s'appelle la prudence, et cela s'appelle être honnête avec les preuves que nous avons trouvées. C'est la meilleure preuve que nous ayons » (voir référence ci-dessous).

Il semble que Carballo-Carbajal ne comprenne pas le sens d'une clause de non-responsabilité dans un article scientifique ; au lieu de cela, elle essaie de l'utiliser pour invalider les résultats de l'étude et étayer son affirmation selon laquelle les masques fonctionnent, malgré les preuves. Une clause de non-responsabilité dans une étude n'invalide pas ses résultats.

Verdict : La déclaration de Carballo-Carbajal est trompeuse.

4. Énoncé : Les essais contrôlés randomisés sont considérés comme l'étalon-or lors de l'évaluation de l'efficacité d'une intervention.

Discussion : La référence sur laquelle cette déclaration est basée est le blog du Dr Malone. Bien que cette affirmation puisse être vraie, déduire que quelque chose est généralement "considéré comme l'étalon-or" sur la base de l'opinion d'un scientifique, est une grave erreur logique.

Verdict : la déclaration de Carballo-Carbajal est logiquement invalide.

5. Déclaration : La qualité des études de référence varie considérablement.

Discussion : Cette affirmation n'est étayée par aucune preuve. C'est peut-être vrai ou non.

Verdict : La déclaration de Carballo-Carbajal n'est pas étayée par des preuves.

6. Déclaration : De nombreux scientifiques considèrent que les essais contrôlés randomisés doivent être considérés comme faisant partie d'une preuve plus large.

Discussion : La source de ceci est un article dans The Conversation de trois épidémiologistes et d'un expert en soins de santé primaires. Les auteurs font certainement cette affirmation, mais sans citer aucune référence. Ainsi, l'affirmation selon laquelle il se fonde sur l'opinion de "nombreux épidémiologistes" est tout simplement fausse. C'est une affirmation faite par trois épidémiologistes et compte tenu du grand nombre de personnes ayant cette formation, le mot «beaucoup» n'est certainement pas justifié. Il faut ajouter que l'appel aux nombres (argumentum ad populum) est une erreur logique.

Verdict : La déclaration de Carballo-Carbajal n'est pas étayée par des preuves. Sa prétendue pertinence est basée sur l'argumentum ad populum, une erreur logique.

7. Déclaration : lorsque les études qui ne répondent pas aux exigences de la recherche de référence sont prises en compte, elles montrent que l'utilisation généralisée du masque peut réduire la transmission communautaire.

Discussion : Il est bien sûr vrai qu'en abaissant la norme, vous pouvez obtenir des résultats différents, mais cette affirmation est problématique, car Carballo-Carbajal semble en tirer la conclusion que malgré le résultat de la revue Cochrane, les masques empêchent en fait la transmission. . Cela ressort clairement de ce passage, vers la fin de l'article : « Un nombre croissant de preuves issues d'ECR et d'études observationnelles suggèrent que le port constant d'un masque peut réduire efficacement la propagation des virus respiratoires comme le SRAS-CoV-2 dans les milieux de soins de santé et communautaires. … Pour le moment, les masques faciaux sont une autre couche de protection en plus de la vaccination, du lavage fréquent des mains et de la distance physique lorsque la circulation des virus respiratoires est élevée.

Cela signifie que l'affirmation de Carballo-Carbajal n'est pas seulement que des études de faible qualité suggèrent quelque chose ; la déclaration finale montre qu'elle affirme clairement que ce qu'ils suggèrent est en fait vrai. Cette affirmation est encore plus claire dans son titre: "Plusieurs études montrent que les masques faciaux réduisent la propagation du COVID-19." Une différence subtile en surface, mais d'une importance capitale. Cela signifie qu'il est justifié de reformuler la déclaration d'origine comme suit : «Lorsque des études qui ne répondent pas aux exigences de la recherche de référence sont prises en compte, elles montrent que l'utilisation généralisée du masque peut réduire la transmission communautaire et c'est une conclusion valide. »

Cela nous amène à la question de savoir pourquoi les études de faible qualité citées par Carballo-Carbajal n'ont pas été incluses dans la revue Cochrane. Heureusement, nous avons un transcription d'un entretien détaillé entre l'auteur principal de l'étude, le Dr Tom Jefferson (JF) et le Dr Carl Heneghan (CH), où cela est discuté en détail :

CH. Maintenant, écoutez, je vais vous prendre à partie ici. Dans les conclusions de l'auteur, les gens vont lire cette revue et commencer à regarder cela et dire, regardez, nous avons des preuves de haute qualité, nous avons des essais contrôlés randomisés et en particulier au niveau du masque, ils vont dire , écoutez, vous montrez à la communauté cette absence d'effet, mais vous commencez par le risque élevé de biais dans l'essai, la variation de la mesure des résultats et l'adhésion relativement faible à l'intervention au cours des études, ce qui nous empêche de tirer des conclusions définitives . Maintenant, j'insiste sur ce point parce que la réponse évidente est alors d'aller à toutes les études d'observation où les gens ont fait des revues systématiques et ont certainement tiré des conclusions fermes sur ce qu'il faut faire. Alors, pourriez-vous simplement préciser ce que cela signifie dans le contexte de 78 essais - c'est beaucoup de preuves d'essais contrôlés randomisés - pouvez-vous préciser ce que cela signifie ?

TJ. Cela s'appelle la prudence, et cela s'appelle être honnête avec les preuves que nous avons trouvées. C'est la meilleure preuve que nous ayons, mais contrairement à certains des idéologues qui poussent l'idée que les études non randomisées, les études observationnelles pourraient donner des réponses, certaines d'entre elles proposent des réponses radicales, des déclarations radicales, des certitudes, qui n'appartiennent tout simplement pas à science. La science n'est pas une question de certitude, la science est une question d'incertitude, il s'agit d'essayer de faire avancer l'agenda et d'accumuler des connaissances. L'utilisation d'études non randomisées dans l'évaluation des virus respiratoires des interventions avec des virus respiratoires signifie que les gens ne comprennent pas, ceux qui ont fait ces études ne comprennent pas le jeu de plusieurs facteurs. Par exemple la saisonnalité, par exemple les allées et venues capricieuses de ces agents, ils sont là un jour et repartis le lendemain. Si vous regardez le comportement du SRAS-CoV-2 dans la surveillance au Royaume-Uni au cours des 12 derniers mois, il y a des hauts et des bas, et c'est juste complètement indépendant de toute intervention, et aussi c'est très rapidement en hausse et très rapidement en baisse. Les études observationnelles ne peuvent en rendre compte. De plus, une très grande partie des études observationnelles sont rétrospectives, et donc soumises à un biais de rappel impitoyable ; les chercheurs tirent des conclusions des données qu'ils ont obtenues en posant des questions telles que "Pouvez-vous vous rappeler combien de fois vous avez porté un masque il y a un mois" ou "Ce que vous avez fait ce jour-là ou ce que vous avez fait l'autre jour" sans tenir de journal. Ce n'est tout simplement pas de la science. Déduire le métrage, la distance, alors que les études originales ne faisaient rien de tel. Il ne s'agit donc que d'une liste interminable de biais qui ne peuvent être pris en compte par les études observationnelles. Et la seule façon dont nous disposons pour répondre aux questions est de mener de grands essais contrôlés randomisés prospectifs pour répondre à une question spécifique dans une population spécifique.

Comme Jefferson l'explique ici, les limites des études observationnelles rendent pratiquement impossible d'en tirer la conclusion que fait Carballo-Carbajal. Carballo-Carbajal cite un certain nombre d'études d'observation pour étayer son affirmation. Je ne passerai pas en revue tous ceux ici, mais regarder quelques exemples devrait être suffisant pour fournir des preuves de certains des problèmes dont Jefferson discute, ainsi que pour réfuter certaines des conclusions non fondées de Carballo-Carbajal.

Par exemple, l'une des études citées, Wang et al, conclut que l'utilisation du masque facial par le cas principal et les contacts familiaux avant que le cas principal ne développe des symptômes était efficace à 79 % pour réduire la transmission. Il s'agit d'une étude observationnelle rétrospective où les preuves de l'utilisation du masque sont purement basées sur l'auto-déclaration après coup des participants. 

Une autre, Mello et autres. montre comment les particules virales s'accumulent dans les masques, mais Carballo-Carbajal considère cela comme une preuve que "[a] les données disponibles indiquent que le port du masque est plus efficace lorsqu'il est combiné à d'autres mesures de contrôle, telles que l'éloignement physique et le lavage fréquent des mains."

Pour résumer, Carballo-Carbajal affirme que puisque des études de haute qualité ne prouvent pas l'efficacité des masques contre la transmission, alors des études observationnelles peu fiables, qui sont exclues de la méta-revue "gold standard", précisément en raison de leur manque de fiabilité, prouvent ce que la haute études de qualité ne parviennent pas à prouver.

Verdict : la déclaration (reformulée) de Carballo-Carbajal est fausse. Sans reformulation c'est sans intérêt.

8. Déclaration : L'effet du port du masque est plus important lorsqu'il est combiné à d'autres interventions.

Discussion : Cette affirmation est problématique. Il ressort déjà des preuves de haute qualité fournies par la revue Cochrane que l'affirmation selon laquelle les masques réduisent la transmission n'est pas prouvée. Cela signifie que prétendre qu'ils ajoutent à la protection fournie par d'autres interventions doit être incorrect.

Verdict : la déclaration de Carballo-Carbajal est fausse.

Carballo-Carbajal commence par attribuer faussement au Dr Robert Malone deux affirmations qu'il n'a jamais faites. Ces fausses déclarations deviennent la base de sa «vérification des faits».

Elle accuse ensuite à tort le Dr Malone d'avoir fait de fausses déclarations concernant un autre sujet, un argument ad hominem sans rapport avec le sujet de l'article.

Sur les huit affirmations faites par Carballo-Carbajal dans son résumé, étayées par son texte principal, quatre sont manifestement fausses, une est logiquement invalide, une est trompeuse et deux ne sont étayées par aucune preuve, dont une est basée sur une erreur logique aussi.

Considérant comment cet article gravement défectueux est maintenant apparemment utilisé pour réprimer la diffusion d'un article scientifique important, pour pousser le rédacteur en chef de Cochrane à faire de fausses déclarations sur l'objectif de l'article et minimiser ses résultats, et pour censurer une revue de Selon les conclusions d'un important journal grand public, il est clair qu'il est urgent d'agir fermement contre l'industrie dite de la «vérification des faits». Le niveau auquel cette censure s'est aggravée est une menace claire et actuelle pour la recherche scientifique et le développement.