Publications scientifiques : les limites d’un modèle multi-centenaire

Dès lors qu’une performance est mesurée sur la base d’un nombre limité de mesures, l’Homme s’adapte aux critères de mesure pour obtenir le meilleur résultat. C’est un phénomène bien connu en management, qui oblige à modifier régulièrement les critères d’évaluation de la performance pour empêcher les comportements ne visant qu’à la satisfaction des critères

L’évaluation des chercheurs, que ce soit pour l’embauche ou le financement, donne une large place aux indices bibliométriques. La pression est forte : chacun connait l’expression « Publish or Perish ». Publier ne suffit pas, il faut aussi que le facteur d’impact du journal soit élevé. Avec de tels enjeux, il n’est donc pas surprenant que certains « s’adaptent » : publications hâtives, auto-citations, doublons ou quasi-doublons, plagiats pour certains chercheurs, mais aussi des manœuvres discutables côté revues pour tenter d’influencer leur Impact Factor.

Qu’un système de mesure de performance suscite certaines formes de fraude, rien d’étonnant. Mais la multiplication des cas de fraude massive que plusieurs pays semblent avoir expérimentés récemment n’est peut-être pas que la conséquence de la prédominance de l’indice bibliométrique dans l’évaluation des chercheurs. Il y a aussi une raison structurelle, liée à la croissance rapide de la population mondiale des chercheurs. Si le nombre de chercheurs qui doivent impérativement publier (et donc le nombre d’articles publiés) augmente plus vite que le nombre de revues pertinentes dans lesquels ils peuvent publier alors le système de publication devient un goulot d’étranglement. Et le Graal de la publication s’éloigne pour le chercheur lambda, à moins qu’il ne trouve des moyens de faire partie des élus.

Afin d’illustrer ce problème, prenons un modèle simple : au début, 1000 chercheurs également répartis en 10 domaines de recherche et 10 revues spécialisées publiant chacune 100 articles par an dans leur domaine. Si chaque chercheur ne publie qu’un seul article et achète la revue dédiée à sa spécialité, tout se passe bien : il aura l’opportunité de faire connaitre ses travaux à ses confrères et aura accès à l’ensemble des 100 avancées dans son domaine.

Passons maintenant à 2000 chercheurs : toujours 10 domaines de recherche, donc 10 revues spécialisées, qui devraient cette fois publier chacune 200 articles par an … Et là, ça se complique pour tout le monde ! La solution évidente, est de multiplier le nombre de revues, ce qui implique de multiplier le coût des abonnements pour les chercheurs aussi … Et fondamentalement, plus il y a de chercheurs, plus le nombre d’articles à lire pour chaque chercheur augmente (chaque chercheur devant publier au moins un article par an). Le temps de lecture par an pour chaque chercheur, tout comme les ressources allouées à la relecture des articles par les revues étant limitées, si le nombre de revues augmente trop, avec des revues concurrentes, notre chercheur ne sait plus où donner de la tête pensante ou chercheuse ! A contrario, si le nombre de revues n’augmente pas assez, alors chacune devra publier beaucoup plus (ce qui n’est pas simple à gérer pour préserver la qualité de la revue) à moins d’accepter qu’une partie de la Science soit perdue : mais comment choisir laquelle garder et laquelle jeter aux oubliettes ?

Il fût un temps où le système s’en sortait bien (à 1000 chercheurs dans notre modèle simpliste). Mais plus la population grandit, plus ce modèle arrive à ses limites : notre chercheur doit pouvoir lire « mieux » 200 articles au lieu de 100, et doit pouvoir publier malgré l’embouteillage de chercheurs qui veulent publier. Ou alors, il essaiera de contourner le système.

Corollaire difficile à éviter : plus le nombre de prétendants à la publication augmente, plus la charge de travail pour la revue augmente. Si la capacité de révision des articles n’augmente pas significativement, le délai de révision augmente, ou alors le temps par article doit baisser. Avec, ce qui est peut-être le pire, des délais de publications très long pour les revues les plus prestigieuses (plusieurs mois voire un an !). Or les chercheurs ont besoin de résultats en termes de publication encore plus rapide qu’en termes de recherche … Les financements à long terme sont plus rares, il faut publier 2 ou 3 fois par an. Et en plus, l’évolution de la recherche amène à plus de publications collectives, qui prennent également plus de temps.

Aie aie aie … Il semblerait bien qu’il y ait un seuil critique dans notre modèle lié à la taille de la population de chercheurs qui croit beaucoup plus vite que la capacité des éditeurs à analyser la production mondiale de connaissances (mais pas encore assez vite pour rattraper la croissance de leur chiffre d’affaire !).

Le modèle de publication traditionnel semble bien atteindre sa limite. La pression sur les chercheurs mais aussi sur les revues continuera d’augmenter, avec des conséquences néfastes sur la qualité des processus de relecture, sur les délais de publication, sur la disponibilité de la connaissance, et pour finir, sur la qualité des articles scientifiques publiés par des chercheurs.

Heureusement, Internet permet de proposer d’autres modèles comme PubPeer avec des processus de relecture collaborative (Open Peer Review), ou GinGo qui fait appel à une Intelligence Artificielle pour suppléer l’Homme là où sa force de travail n’est plus suffisante !

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.