{"id":4835,"date":"2019-11-12T12:37:00","date_gmt":"2019-11-12T11:37:00","guid":{"rendered":"http:\/\/stanislasberton.com\/?p=4835"},"modified":"2024-03-29T14:49:44","modified_gmt":"2024-03-29T13:49:44","slug":"de-la-science-moderne","status":"publish","type":"post","link":"https:\/\/stanislasberton.com\/index.php\/2019\/11\/12\/de-la-science-moderne\/","title":{"rendered":"De la science moderne"},"content":{"rendered":"\n
\"\"
“La science, c’est la croyance dans l’ignorance des experts.”<\/figcaption><\/figure>\n\n\n\n

Extraits de l\u2019article d\u2019Adam Mastroianni publi\u00e9 le 13 d\u00e9cembre 2022 sur Substack sous le titre \u00ab The rise and fall of peer-review<\/a> \u00bb. Traduit de l\u2019anglais par Stanislas Berton.<\/p>\n\n\n\n

Au cours des soixante derni\u00e8res ann\u00e9es, la science a men\u00e9 une exp\u00e9rience sur elle-m\u00eame. Cette exp\u00e9rience \u00e9tait assez mal con\u00e7ue, elle ne comportait pas de facteur al\u00e9atoire ou de groupe t\u00e9moin. Personne n\u2019\u00e9tait responsable et personne n’effectuait des \u00e9valuations r\u00e9guli\u00e8res. Et pourtant, c\u2019\u00e9tait l\u2019une des plus grandes exp\u00e9riences jamais r\u00e9alis\u00e9es et celle-ci impliquait chaque scientifique de la plan\u00e8te.<\/p>\n\n\n\n

La plupart des gens n\u2019avaient pas conscience de faire partie d\u2019une exp\u00e9rience. Beaucoup d\u2019entre eux, moi compris, n\u2019\u00e9taient pas n\u00e9s quand l\u2019exp\u00e9rience a commenc\u00e9. Si nous avions remarqu\u00e9 ce qui se passait, peut-\u00eatre aurions-nous exig\u00e9 un niveau minimum de rigueur scientifique. Il est possible que personne n\u2019ait soulev\u00e9 d\u2019objections parce que la validit\u00e9 de l\u2019hypoth\u00e8se apparaissait comme une \u00e9vidence : la science se portera mieux si quelqu\u2019un v\u00e9rifie chaque article de recherche et rejette ceux qui ne satisfont pas certains crit\u00e8res. Ce processus fut appel\u00e9 \u00ab l’\u00e9valuation par un comit\u00e9 de lecture \u00bb<\/strong> (peer-review<\/em>, litt\u00e9ralement \u00e9valuation par les pairs ).<\/p>\n\n\n\n

[…]<\/p>\n\n\n\n

Apr\u00e8s la seconde guerre mondiale, les gouvernements se mirent \u00e0 investir des sommes colossales dans la recherche et ils convoqu\u00e8rent des chercheurs<\/a> pour s\u2019assurer qu\u2019ils ne gaspillaient pas tout cet argent dans des projets fumeux. Ce financement donna naissance \u00e0 un v\u00e9ritable d\u00e9luge d\u2019articles scientifiques. Des revues qui avaient eu autrefois des difficult\u00e9s \u00e0 remplir leurs pages avaient d\u00e9sormais des difficult\u00e9s \u00e0 faire le tri parmi tous les articles propos\u00e9s. \u00c9valuer les articles avant leur publication, chose assez rare jusqu\u2019aux ann\u00e9es 60<\/a>, devint une pratique de plus en plus courante. Puis, elle devint universelle.<\/p>\n\n\n\n

Aujourd\u2019hui, la plupart des revues scientifiques font appel \u00e0 d’autres scientifiques pour \u00e9valuer les articles et ceux qui ne plaisent pas \u00e0 ces \u00e9valuateurs sont rejet\u00e9s. Vous pouvez toujours \u00e9crire \u00e0 vos amis \u00e0 propos de vos recherches mais les comit\u00e9s de recrutement ou d\u2019attribution des bourses se comportent comme si la seule science existante \u00e9tait celle publi\u00e9e dans les revues scientifiques avec comit\u00e9 de lecture. Tel est la grande exp\u00e9rience qui est conduite depuis six d\u00e9cennies.<\/p>\n\n\n\n

Nous avons obtenu les r\u00e9sultats : cette exp\u00e9rience est un \u00e9chec.<\/p>\n\n\n\n

Beaucoup d\u2019argent pour rien<\/strong><\/p>\n\n\n\n

L\u2019\u00e9valuation par comit\u00e9 de lecture fut un investissement aussi colossal que co\u00fbteux. D\u2019apr\u00e8s une estimation, les scientifiques y passent collectivement l\u2019\u00e9quivalent de 15 000 ann\u00e9es de travail par an<\/a>. Le passage d\u2019un article \u00e0 travers le syst\u00e8me d\u2019\u00e9valuation peut prendre des mois ou des ann\u00e9es<\/a>, ce qui repr\u00e9sente un temps consid\u00e9rable quand vous \u00eates en train de chercher \u00e0 r\u00e9soudre le probl\u00e8me du changement climatique ou de gu\u00e9rir le cancer. Et les universit\u00e9s d\u00e9pensent des millions<\/a> pour avoir acc\u00e8s aux revues scientifiques, quand bien-m\u00eame l\u2019essentiel de la recherche est financ\u00e9 par les contribuables et que pas un centime de tout cet argent n\u2019arrive dans la poche des auteurs ou des \u00e9valuateurs.<\/p>\n\n\n\n

Les gros investissements doivent avoir de grosses retomb\u00e9es. Si vous d\u00e9pensez cent millions d\u2019euros pour l\u2019enseignement, vous \u00eates en droit d’esp\u00e9rer que cette d\u00e9pense aura eu un impact positif sur les \u00e9l\u00e8ves. Si vous revenez quelques ann\u00e9es plus tard et que vous demandez dans quelle mesure vos cent millions ont permis d\u2019am\u00e9liorer les choses\u00a0et que tout le monde vous r\u00e9pond\u00a0: \u00ab\u00a0euh, on n\u2019est pas vraiment s\u00fbr<\/a> de l\u2019impact que cela a eu et nous sommes furieux que vous osiez poser la question\u00a0\u00bb, vous seriez vraiment tr\u00e8s en col\u00e8re. De la m\u00eame mani\u00e8re, si les comit\u00e9s de lecture ont vraiment am\u00e9lior\u00e9 la science, cela devrait se voir et il y aurait de quoi \u00eatre m\u00e9content si ce n\u2019\u00e9tait pas le cas.<\/p>\n\n\n\n

Et ce n\u2019est pas le cas. Dans de nombreux domaines, la productivit\u00e9 de la recherche a \u00e9t\u00e9 stagnante ou en d\u00e9clin depuis des d\u00e9cennies <\/a>et l\u2019\u00e9valuation par comit\u00e9 de lecture n\u2019a pas eu d\u2019impact sur cette tendance. Les nouvelles id\u00e9es \u00e9chouent \u00e0 remplacer les anciennes<\/a>. De nombreux r\u00e9sultats pass\u00e9s par le processus de \u00ab peer-review \u00bb ne peuvent pas \u00eatre r\u00e9pliqu\u00e9s <\/a>et beaucoup d\u2019entre eux sont tout simplement faux.<\/a> Quand vous demandez \u00e0 des scientifiques d\u2019\u00e9valuer les d\u00e9couvertes du 20\u00e8me si\u00e8cle en physique, m\u00e9decine ou chimie qui ont obtenu des prix Nobel, ils d\u00e9clarent que celles qui ont \u00e9t\u00e9 faites avant le \u00ab peer-review \u00bb sont aussi bonnes voire meilleures <\/a>que celles qui sont venues apr\u00e8s. D\u2019ailleurs, vous ne pouvez pas leur demander d\u2019\u00e9valuer les d\u00e9couvertes nob\u00e9lis\u00e9es entre 1990 et 2000 car il n\u2019y en a tout simplement pas assez.<\/p>\n\n\n\n

[…]<\/p>\n\n\n\n

Post mortem<\/strong><\/p>\n\n\n\n

Qu\u2019est-il pass\u00e9 ?<\/p>\n\n\n\n

Voici une question simple : est-ce que le processus d\u2019\u00e9valuation par comit\u00e9 de lecture fonctionne comme pr\u00e9vu ? Est-ce qu\u2019il permet de d\u00e9tecter la recherche de mauvaise qualit\u00e9 et l\u2019emp\u00eacher d\u2019\u00eatre publi\u00e9e ?<\/p>\n\n\n\n

Ce n\u2019est pas le cas. Des scientifiques ont men\u00e9 des \u00e9tudes consistant \u00e0 ajouter des erreurs aux articles de recherche, de les envoyer aux \u00e9valuateurs et de mesurer combien d\u2019erreurs ceux-ci d\u00e9tectent. Quand leurs performances sont mesur\u00e9es, les \u00e9valuateurs obtiennent des r\u00e9sultats calamiteux. Dans une \u00e9tude<\/a>, les \u00e9valuateurs n\u2019ont d\u00e9tect\u00e9 que 30 % des erreurs les plus graves, dans une autre<\/a> 25 %, et dans une troisi\u00e8me<\/a>, 29 %. Il s\u2019agissait d\u2019erreurs tr\u00e8s graves telles que \u00ab cet article pr\u00e9tend utiliser un m\u00e9thode de contr\u00f4le al\u00e9atoire mais ce n\u2019est pas le cas \u00bb et \u00ab quand vous observez les graphiques, il est \u00e9vident qu\u2019il n\u2019y a aucun effet \u00bb ou encore \u00ab les auteurs tirent des conclusions qu\u2019aucune donn\u00e9e ne vient soutenir. \u00bb La plupart des \u00e9valuateurs n\u2019ont absolument rien vu.<\/strong><\/p>\n\n\n\n

En fait, nous avons beaucoup de preuves concr\u00e8tes que le processus de \u00ab\u00a0peer-review\u00a0\u00bb ne fonctionne pas\u00a0: des articles de recherche bidons sont publi\u00e9s tous les jours que Dieu fait. Si les \u00e9valuateurs faisaient leur travail, il y aurait beaucoup d\u2019histoires du type \u00ab\u00a0Le professeur Cornelius Toutbidon a \u00e9t\u00e9 licenci\u00e9 apr\u00e8s avoir publi\u00e9 une \u00e9tude truqu\u00e9e dans une revue scientifique.\u00a0\u00bb <\/strong>mais nous n\u2019entendons jamais des histoires de ce genre. Au contraire, presque toutes les histoires concernant la fraude scientifique commencent<\/em> avec la validation de l\u2019article et sa publication. Suite \u00e0 celle-ci, un bon samaritain -souvent quelqu\u2019un qui travaille dans le m\u00eame laboratoire que l\u2019auteur\u00a0!- d\u00e9tecte un probl\u00e8me et se met \u00e0 enqu\u00eater. C\u2019est ce qui s\u2019est pass\u00e9 pour cet article sur la malhonn\u00eatet\u00e9<\/a> qui a visiblement utilis\u00e9 des donn\u00e9es fictives (supr\u00eame ironie), ou bien ces types <\/a>qui ont publi\u00e9 des dizaines, voire des centaines d\u2019articles bidons, sans parler de ce champion toutes cat\u00e9gories :<\/p>\n\n\n\n

\n

Wait a second, these are not real error bars \u2026 the author literally just put the letter \u201cT\u201d above the bar graphs \ud83d\ude2d pic.twitter.com\/KKtTGRHFaw<\/a><\/p>— Josemari Feliciano (@jmtfeliciano) November 28, 2022<\/a><\/blockquote>