Academic Jobs - Home of Higher Ed Logo

La crise de l'évaluation par les pairs : les soumissions générées par l'IA et les usines à papiers détruisent l'édition universitaire

Poster une histoire
72vues
Native advertising — guest articles from $400See packages
text
Photo by Brett Jordan on Unsplash

Le chiffre le plus conséquent dans la publication académique actuellement n'est pas un facteur d'impact.Il s'agit d'une queue de retrait qu'un éditeur ne peut toujours pas fermer.Wiley a acquis l'éditeur d'accès ouvert Hindawi pour 298 millions de dollars en 2021.Au moment où Wiley a retiré le nom Hindawi et a déclaré qu'il fermerait 19 revues Hindawi en 2024, des milliers de journaux avaient été retirés après que des enquêtes aient révélé l'activité du moulin à papier, les fausses bagues d'évaluation par les pairs, les données fabriquées et les images manipulées.

Ce nombre ne s'est pas produit parce que les chercheurs ont soudainement perdu leur éthique. Il s'est passé parce que la production industrielle de la science fausse est devenue moins chère et plus rapide. L'IA générative a produit des abstracts et des introductions passables à l'échelle. Les usines de papier ont emballé ces mots avec des données fabriquées et vendus des slots d'auteur. Les journaux qui facturent des frais de traitement d'article (APC) sur l'acceptation ont rendu le volume rentable. examen des pairs, le filtre destiné à attraper la fraude, dépend toujours du travail académique non payé et de l'hypothèse qu'une soumission est authentique jusqu'à ce que quelqu'un prouve le contraire.

L'échelle compte parce que l'examen par les pairs n'a jamais été conçu pour authentifier l'auteur. Il a été conçu pour juger les méthodes et les arguments. Un manuscrit fabriqué écrit par une équipe coordonnée peut paraître plus propre qu'un papier authentique par un postdoc fatigué.

Les moulins à papier ont fonctionné de la même manière depuis des décennies. Un courtier recrute un chercheur qui a besoin de publications pour la promotion ou l'avancement professionnel. Dans une opération typique, le courtier organise un manuscrit écrit par fantôme, fournit ou fabrique un ensemble de données, soumet le papier et suggère parfois aux critiques dont les adresses de courrier électronique parcourent le moulin. Les critiques reviennent favorables.

L'IA générative n'a pas inventé cette entreprise, mais elle a supprimé ses coûts de production les plus importants. La génération de langues bon marché signifie que les usines peuvent inonder des journaux avec du texte qui ne traverse plus les vérifications de grammaire ou de plagiat. Le volume de soumission augmente. Les éditeurs et les critiques, généralement les membres du corps professoral travaillant sans rémunération, voient plus de manuscrits qui semblent plausibles mais sont vides.

Les problèmes spéciaux édités par les invités sont un point d'entrée commun. Un moulin peut recruter ou faire semblant d'éditeur invité, remplir un problème avec des soumissions coordonnées, exploiter la nécessité d'un journal de publier à l'heure, et se cacher derrière de faux identifiants.

Voici le catch

Le problème n'est pas que le logiciel de détection n'existe pas. Le problème est que chaque outil de détection crée un nouveau coût, et personne n'a convenu de qui le porte.Hub d’intégrité STM, géré par l'Association internationale des éditeurs scientifiques, techniques et médicaux, qui signale les soumissions dupliquées et les marqueurs de moulin à papier sur les revues participantes. Springer Nature exécute son propre logiciel, Geppetto, pour repérer la manipulation du texte et de l'image générés par l'IA.

Ces outils sont triage, pas de preuve. Un drapeau a encore besoin d'une enquête humaine, et les enquêteurs humains sont exactement la ressource en manque d'approvisionnement. Les faux positifs s'accumulent aussi. La prose académique formelle écrite par un non-natif anglais peut être flagellée comme générée par machine. Chaque faux drapeau consomme du temps de l'éditeur et risque d'aliéner un véritable auteur. Un moulin à papier, entre-temps, peut router son texte à travers un paraphraser et essayer à nouveau. Les machines s'améliorent, mais les moulins s'améliorent en réponse.

Close-up of a book page with printed text

Photo by Brett Jordan on Unsplash

La course aux armes de détection, classée

Hype: les détecteurs d'IA et les logiciels d'intégrité peuvent nettoyer les évaluations par les pairs. réalité: ils peuvent identifier les schémas, mais pas l'intention.COPE, Comité sur l’éthique des publications, il a été clair que les signaux logiciels seuls ne sont pas la preuve de l'implication de la machine à papier; les éditeurs doivent enquêter avant d'agir.

  • Dupliquer des images sur des documents supposément non liés
  • Réseaux d’auteurs qui se répètent dans différentes revues sans collaboration plausible
  • Ensembles de données qui ne correspondent pas aux expériences décrites dans le manuscrit
  • Les adresses e-mail de Reviewer qui remontent aux mêmes fournisseurs gratuits ou adresses IP que les auteurs

Chacun de ces signaux peut apparaître dans un travail légitime. Un véritable auteur peut réutiliser une figure par erreur, partager un réseau avec un co-auteur, choisir une adresse e-mail générique, ou soumettre à partir du même réseau du campus qu'un collègue. La valeur du logiciel provient de la rapidité avec laquelle il réduit le pool pour les éditeurs. Il ne remplace pas le jugement éditorial, et il ne peut pas arrêter un moulin déterminé qui varie ses modèles de soumission.

Qui paie pour le nettoyage

L'argent est la partie de l'avis des universités. Une soumission de moulin à papier ne gaspille pas seulement le temps de l'examinateur; il peut finir dans le dossier de mandat d'un chercheur, un rapport de subvention, ou une évaluation de la recherche nationale. Les retraits arrivent souvent des années plus tard, après la promotion est approuvée et l'institution a déjà annoncé la sortie de l'auteur. Les bureaux d'intégrité de la recherche passent ensuite des mois à reconstruire ce qui s'est passé. L'auteur peut revendiquer l'ignorance, l'intermédiaire a disparu, la revue a continué, et l'institution est laissée tenir le dossier.

À travers les campus, la réponse à la politique a été fragmentée.Certaines universités affichent désormais des listes de publication lors de l'embauche de professeurs; d'autres comptent sur des comités de recherche sans formation dans les vérifications de publication judiciaire.Les règles d’intégrité académiqueSans un standard partagé, le même document problématique peut noyer un candidat et glisser devant un autre comité.

Le problème de l'éditeur personne ne veut nommer

Les éditeurs ont un incitatif gênant. Les journaux qui facturent des APC pour l'acceptation gagnent de l'argent lorsque les articles passent l'examen. Les journaux qui exécutent des sujets spéciaux, en particulier des collections éditées par des invités, ont été touchés par les usines parce que les éditeurs invités peuvent être recrutés ou déguisés. La pression pour remplir des pages collide avec le devoir de rejeter. Certains éditeurs ont fermé des programmes d'émission spéciale ou suspendu des journaux après la fraude. D'autres n'ont pas.

Le suivi de l’échelle n’est pas difficile.Retraction Watch maintient une base de données publiqueLa base de données est devenue un outil de travail pour les journalistes, les responsables de l'intégrité de la recherche, les comités d'embauche et les panneaux d'examen de mandat. Le fait qu'une telle base de données soit nécessaire vous dit à quel point le fossé de vérification a augmenté.

A close up of a book with writing on it

Photo by Brett Jordan on Unsplash

Le problème du personnel derrière la correction du logiciel

La correction n'est pas un détecteur plus intelligent. Il s'agit d'un changement dans qui vérifie, et quand. Si les listes de publication ont été vérifiées au moment de l'embauche, de la promotion, de la demande de subvention et du temps d'examen annuel, le marché des papiers fabriqués se rétrécirait parce que l'attestation perdrait de la valeur. Les données et le code pourraient être nécessaires avant l'examen, pas après. Les éditeurs pourraient recevoir le temps, l'état, le budget et la formation pour enquêter sur les soumissions suspectes au lieu d'espérer des avis d'un réviseur volontaire. Rien de cela ne nécessite une percée dans l'IA. Il faut que les universités et les

Anna Abalkina, sociologue à l’Université Libre de Berlin qui a documenté les réseaux de moulins à papier dans plusieurs pays, a montré à plusieurs reprises que ces réseaux répondent à la pression de la publication, pas au logiciel.

Portrait de Dr. Oliver Fenton
A propos de l'auteur

Dr. Oliver FentonVoir auteur

Academic Jobs In House Author

Les reconnaissances :

Discussions

Sort par :

Soyez le premier à commenter cet article !

vous

Vous serez invité à vous connecter avant de publier votre commentaire.

Nouvelle0 comments

Rejoignez la conversation !

Ajoutez vos commentaires dès maintenant !

Avoir votre mot

Niveau d’engagement

Browse par faculté

Browse par sujet

Frequently Asked Questions

🧾Qu'est-ce qu'une usine à papier dans l'édition universitaire ?

Une usine à papier est une entreprise qui vend la paternité de manuscrits fabriqués ou écrits par des fantômes. Les courtiers recrutent des chercheurs qui ont besoin de publications pour une promotion, une licence professionnelle, une demande de subvention ou un dossier d'embauche, puis organisent un manuscrit, parfois des données ou des images factices, et une soumission. L'objectif est un article d'allure irréprochable dans une revue, généralement une qui facture des frais de traitement d'article. Cette pratique est une forme de mauvaise conduite dans la recherche, et non seulement un problème de qualité.

🤖Comment l'intelligence artificielle générative a-t-elle changé les usines à papier ?

Les modèles de langage basés sur l'IA permettent aux usines de générer des résumés, des introductions et des méthodes plausibles à peu de frais. Le texte ne déclenche plus les contrôles de grammaire ou de plagiat, ce qui signifie que les rédacteurs et les relecteurs passent plus de temps à séparer les manuscrits creux des vrais. Les mêmes modèles peuvent être utilisés pour réécrire le texte et éviter les détecteurs, transformant le problème en course aux armements.

📉Pourquoi la revue par les pairs est-elle décrite comme étant en crise ?

La revue par les pairs repose sur le travail bénévole des universitaires et suppose que les soumissions sont honnêtes. Les usines à papier exploitent cette confiance à grande échelle, augmentant les volumes de soumissions tandis que les réviseurs légitimes refusent davantage de demandes. Les rédacteurs en chef sont épuisés, les files d'attente de révision ralentissent, les mauvais articles passent à travers les mailles du filet et la confiance s'érode. La crise n'est pas un seul échec ; c'est la pression accumulée sur un système conçu pour une économie de publication plus petite et plus lente.

📊Combien d'articles ont été rétractés en raison de paper mills ?

Nature a rapporté que plus de 10 000 articles ont été rétractés en 2023, un record. Les revues Hindawi de Wiley représentaient une grande part après que l'éditeur ait enquêté sur l'activité des paper mills. La base de données de Retraction Watch recense désormais des dizaines de milliers de rétractations, dont beaucoup sont liées à des paper mills et à des évaluations par les pairs fictives.

💷Qu'est-ce que les frais de traitement des articles et pourquoi sont-ils importants ici ?

Les frais de traitement des articles, ou APC, sont des frais que les revues facturent lorsque l'article est accepté. Ils financent l'accès ouvert, mais créent également un incitatif de volume. Une revue qui reçoit des milliers de soumissions peut générer des revenus importants en les acceptant, ce que les usines à papier exploitent. Les critiques soutiennent que les revenus des APC devraient être dissociés de l'acceptation et liés à la sélection et à la vérification à la place.

🔎Quels outils les éditeurs utilisent-ils pour détecter les soumissions générées par l'IA ?

Les éditeurs utilisent un mélange de signaux. Le STM Integrity Hub signale les soumissions en double et les marqueurs de paper mill dans les revues participantes. Springer Nature utilise Geppetto pour détecter les textes générés par l'IA et la manipulation d'images. Certains journaux utilisent des logiciels de plagiat, des analyses d'images et des vérifications d'identité des évaluateurs. Ces outils réduisent le pool pour les rédacteurs en chef ; ils n'établissent pas la fraude par eux-mêmes.

⚠️Les détecteurs d'IA peuvent-ils identifier de manière fiable les faux articles ?

Non. Les détecteurs sont des outils de reconnaissance de modèles, et non des preuves. Ils peuvent signaler des textes écrits de manière formelle par des non-anglophones comme étant générés par machine, et les usines à papier peuvent réécrire le texte jusqu'à ce que le détecteur ne le détecte plus. Les recommandations du COPE conseillent que les signaux logiciels nécessitent une enquête humaine avant toute allégation. Les fausses accusations peuvent nuire à des chercheurs légitimes et gaspiller le temps des éditeurs.

🏛️Que se passe-t-il pour un chercheur universitaire lorsque son article est rétracté ?

Les conséquences dépendent de l'institution et des preuves. Certains chercheurs font face à des constats de mauvaise conduite dans la recherche, à un examen attentif des subventions, à la perte d'un poste ou à une collaboration gelée. D'autres affirment avoir été trompés par des intermédiaires et évitent ainsi toute sanction formelle. Puisque les rétractations surviennent souvent des années après une promotion, les universités doivent parfois réexaminer les décisions antérieures, un processus qui est complexe, lent et public.

📋Comment les universités doivent-elles vérifier les listes de publications des enseignants-chercheurs ?

Les comités de sélection doivent vérifier les affirmations via les sites web des revues et les recherches de DOI, et non seulement les CV. Ils peuvent vérifier Retraction Watch pour les articles rétractés et demander aux candidats d'expliquer les lacunes. Certaines universités exigent désormais des déclarations de données ou de code. La clé est de rendre la vérification systématique avant une offre, et non après un scandale.

📬Que doit faire un évaluateur pair si un article ressemble à un produit de paper mill ?

Les évaluateurs doivent signaler des préoccupations spécifiques à l'éditeur plutôt que de rejeter silencieusement. Les preuves peuvent inclure des modèles d'auteurs suspects, des images en double, des données qui ne correspondent pas aux méthodes, ou une liste d'évaluateurs avec des adresses e-mail suspectes. Les recommandations du COPE indiquent aux éditeurs de garder les préoccupations confidentielles pendant l'enquête. Les évaluateurs ne doivent pas faire des allégations publiques avant une enquête.

🏷️Les éditeurs changent-ils leurs politiques ?

Certains le sont. Wiley a fermé 19 revues Hindawi et suspendu les programmes de numéros spéciaux. Springer Nature et d'autres ont ajouté un filtrage par IA. Les membres de STM partagent des signaux via l'Integrity Hub. Cependant, les changements sont inégaux et les petits éditeurs manquent souvent de ressources pour les équipes de forensic.

🧭Où les chercheurs peuvent-ils signaler des usines à papier suspects ?

Ils peuvent signaler aux rédacteurs en chef d'abord, puis à l'équipe d'intégrité de la recherche de l'éditeur. COPE offre des conseils aux rédacteurs et aux éditeurs. Retraction Watch accepte des informations sur des articles suspects. Les universités ont généralement un responsable de l'intégrité de la recherche qui peut conseiller sur les procédures de mauvaise conduite.