Les éditeurs sont toujours à la hauteur des deux, mais le problème de l'intégrité le plus récent est plus silencieux: les grands modèles linguistiques génèrent des listes de référence plausibles, stratégiquement pavées, et chaque DOI non résolu remodèle silencieusement le dossier de citation d'un chercheur.
STM, l’association commerciale internationale pour les éditeurs scientifiques, techniques et médicaux, a consacré les dernières années à la construction d’infrastructures pour ce genre de manipulation.L’Integrity Hub de l’association partage les signaux entre les éditeurs participants, et son initiative United2Act coordonne l’action contre les usines à papier.Les dernières discussions sur l’intégrité parmi les membres de STM ont dépassé de capturer les mauvais acteurs individuels et de traiter les listes de référence comme un flux de données qui peut être joué comme n’importe quel autre.
La citation est ancienne, l’industrialisation est nouvelle
Le stacking de citations et les anneaux de citation ont précédé l'IA génératrice par des décennies. Les éditeurs ont été pris en charge en demandant des citations d'eux-mêmes. Des groupes d'auteurs ont échangé des citations pour gonfler les index h. Ce qui a changé est le coût unitaire. Un chatbot peut produire vingt références en secondes, mélangeant des auteurs réels, des revues réelles, des DOI plausibles mais incorrectes et des comptes de citation qui ont l'air organiques mais ne le sont pas. Certaines sorties sont des fabrications pures. Un sous-ensemble plus dangereux comprend des articles réels attribués à l'auteur erroné ou à l'année erronée, ce qui détruit une simple recherche
Le même mode de défaillance a atteint les tribunaux en 2023, lorsque deux avocats de New York ont été condamnés à payer 5 000 $ dans le cadre d'une procédure judiciaire.Voir dans AviancaAprès avoir déposé des lettres contenant des cas inventés par ChatGPT. Les manuscrits scientifiques produisent rarement ce qui instantanément une sanction. L'erreur sous-jacente est la même: la machine fournit une autorité plausible et les fichiers humains sans le vérifier.
Voici le catch
La capture n’est pas que l’IA hallucine occasionnellement une référence. La capture est qu’une grande partie de l’évaluation de la recherche n’a aucune raison d’être remarquée. Une citation est traitée comme une unité d’influence. Si une citation fabriquée ou forcée persiste dans un papier indexé, un profil Google Scholar, un dépôt institutionnel ou un serveur de préimpression, les agrégateurs en aval la comptent. Le chercheur cité n’a rien fait de mal, mais leurs mesures s’améliorent. Le profil de citation de la revue s’améliore légèrement. Si suffisamment de telles citations s’accumulent, un facteur d’impact de la revue peut se déplacer.
Un chercheur de début de carrière qui vérifie manuellement chaque référence est donc en concurrence avec une machine d’inflation automatisée dans les méthodes d’embauche, de notation des subventions et des systèmes d’évaluation de la recherche.Le problème d’intégrité est un problème d’éditeur et un problème de travail: le savant prudent paie à temps, tandis que l’auteur imprudent ou cynique ne paie rien.
Quels sont les journaux qui naviguent
Les éditeurs ont eu des outils de correspondance de texte depuis des années.Vérification de la similitude de Crossrefaide les bureaux de rédaction à comparer les soumissions contre une grande base de données, mais le texte correspondant n'est pas le même que la validation des références.La couche plus récente est la vérification des métadonnées: le DOI existe-t-il, résout-il au papier décrit, la source a été retirée, et la citation correspond à l'affirmation qu'elle soutient.De nombreux systèmes de rédaction exécutent maintenant ces vérifications à la soumission, bien que l'adoption reste inégale dans les magazines de la petite société et dans les grands éditeurs commerciaux.
LeBase de données Retraction WatchIl est devenu un écran secondaire commun.Certains journaux font désormais des citations sur des journaux retirés, bien que les politiques varient.Hub d’intégrité STMIl est destiné à rendre ces signaux portables à travers les éditeurs, de sorte qu'un journal qui identifie une bague de citation puisse partager le motif sans attendre qu'une retraite soit publiée des mois plus tard.
Pourquoi ce pays sur les commissions de recrutement
L'intégrité du manuscrit ressemble à un problème éditorial jusqu'à ce qu'un comité de recherche de faculté ou de bourse de recherche ouvre un CV. Un candidat avec un enregistrement de publication fortement cité peut apparaître plus fort qu'un collègue avec une sortie similaire et moins de citations. Le manipulateur de citation automatisé n'a pas besoin de toucher les propres papiers du candidat. Il a seulement besoin de les citer. Dans les systèmes d'évaluation de volume élevé, les comptes de citation gonflés deviennent un proxy pour la visibilité et la visibilité peut dépasser le travail sous-jacent. La pratique est plus ancienne que l'IA, mais l'échelle a changé.
Les départements axés sur l'enseignement qui utilisent les indicateurs de citation comme un signal dans une revue de portefeuille plus large sont tout aussi exposés, car les citations gonflées ont tendance à se regrouper autour d'un petit nombre de documents fortement écrits.
Le préalableLe rapport AcademicJobs sur l'indexation des journauxfait un point connexe: où un papier apparaît n'est pas une garantie de qualité. Ni le nombre de fois qu'il est cité. Les deux problèmes se fondent lorsque les manuscrits générés par l'IA pâtissent leurs bibliographies avec des citations à des documents réels, peut-être irréguliers, puis ces citations nourrissent des profils que les comités d'embauche lisent en quelques minutes. Pour quiconque demande un travail académique permanent, un enregistrement de citation non vérifiable est maintenant une responsabilité même quand il semble flatter. Les retraits de Wiley-Hindawi, couverts dans un précédentRecherche académique, a montré ce qui se passe lorsque la sortie de moulin à papier se propage avant que la détection n'arrive.
Que faire avec une liste de référence générée
Les auteurs, les critiques, les rédacteurs et les responsables de l'intégrité de la recherche devraient traiter toute liste de référence assistée par l'IA comme un projet de revendication sur la littérature, pas un enregistrement fini.
- Vérifiez chaque DOI contre la page de l'éditeur ou Crossref, pas seulement la page de résolution.
- Un résumé d'une phrase d'un chatbot n'est pas le même que la lecture des méthodes, et c'est l'endroit le plus commun pour cacher une citation erronée.
- Recherchez la base de données de Retraction Watch pour toute référence avec un historique de retraction, en particulier pour les articles dans les articles de revue ou les critiques systématiques.
- Enregistrez l'utilisation de l'IA dans la section lettre de couverture ou méthodes.Coupeorientation qui nécessite la divulgation lorsque les outils d’IA suggèrent, organisent ou formatent des références.
Lorsqu'une entrée bibliographique vit dans Zotero, EndNote ou un outil similaire, les métadonnées source sont séparées de la prose, ce qui rend plus difficile pour une référence hallucinée de glisser comme un bloc collé.
La réponse du chercheur
La mise à jour de STM est importante parce qu'elle traite le comportement de citation comme un signal d'intégrité. Mais les outils ne fixent rarement les structures d'incitations par eux-mêmes. Un vérificateur de référence capture un faux DOI. Il ne capture pas une citation réelle mais irrégulière, et il n'empêche pas un comité de recrutement de traiter les comptes de citation brute comme un proxy pour la réalisation.
La réponse du chercheur est de cesser de supposer que toute liste de référence est innocente. Lisez la bibliographie de la manière dont vous lisez les méthodes. Vérifiez l'existence de la source, l'exactitude de la revendication et l'état de rétraction. Si une machine génère la liste, l'obligation humaine de la vérifier augmente, pas diminue. Une liste de référence est une revendication de ce qui existe. L'éditeur peut marquer le mauvais DOI. Le chercheur doit vivre avec un enregistrement de citation qui signifie quelque chose.
Photo by Markus Winkler on Unsplash