La course pour mettre l'IA générative dans la publication scientifique a produit un conflit politique que personne n'attendait.

À travers 2023 et 2024, les principaux revues et les financiers de recherche ont silencieusement changé leurs règles sur ce qu'un rédacteur par pairs peut faire avec un grand modèle de langue. Les US National Institutes of Health, Elsevier, Springer Nature, Wiley, le JAMA Network et le Comité sur l'éthique de la publication ont tous publié ou mis à jour des lignes directrices.

Cela ressemble à une correction administrative étroite. Ce n'est pas. L'évaluation par les pairs demeure l'une des parties de l'édition de journaux où la confidentialité et le jugement d'experts sont l'ensemble du produit. Un papier faible peut être corrigé après la publication. Un manuscrit fuité ou une critique hallucinée ne peut pas être rappelé.

Les systèmes d'IA génératifs tels que ChatGPT, Claude et Gemini se trouvent maintenant dans les flux de travail de recherche quotidiens pour la rédaction, le codage, le résumé du texte de la subvention et la préparation des matériaux de cours. Les éditeurs ont passé des années à encourager ces utilisations. Un rapport d'arbitre est différent. Il nécessite une évaluation spécifique des données non publiées, des méthodes et de l'interprétation en vertu d'un accord de confidentialité. Une fois qu'un manuscrit entre dans un modèle avec des paramètres de rétention incertains, cette négociation se brise.

Voici le catch

Les règles sont simples à publier et difficiles à contrôler.Les éditeurs voient le rapport final, pas le processus de rédaction.Un réviseur peut exécuter un modèle privé sur une machine locale, coller un manuscrit en sections, s'appuyer sur un outil institutionnel avec ses propres termes de données, ou demander à un collègue de résumer la soumission, et aucun éditeur ne le remarquera.

Les classificateurs de texte restent peu fiables sur la prose courte, technique, spécifique à la personne, et une fausse accusation contre un arbitre est institutionnellement coûteuse dans un système qui a déjà du mal à trouver des critiques.

Les politiques sont également divisées sur la question la plus fondamentale: la divulgation ou l'interdiction. Certains éditeurs permettent l'IA générative si son utilisation est déclarée. D'autres l'interdisent complètement. Quelques donateurs interdisent toute aide à l'IA dans l'examen des subventions. Un seul réviseur peut faire face à trois normes différentes dans la même semaine.

Les annonces démontrent l’intention, mais l’application dépend toujours du système d’honneur.

Ce que les grands acteurs ont réellement changé

En juin 2023, les Instituts nationaux de la santé américainsInterdire aux critiques d’utiliser l’IA génératived’analyser ou de critiquer les demandes de subvention, mettant en garde que de tels outils pourraient compromettre la confidentialité et l’intégrité du processus.

Les directives de l'éditeur d'Elsevier disent aux arbitres de ne pas utiliser des outils d'IA génératifs ou assistés par l'IA pour aider à la révision scientifique d'un manuscrit.La politique de l'éditeur se concentre sur la confidentialité, la responsabilité personnelle, l'originalité et la divulgation, et demande aux critiques de garder les soumissions hors des systèmes non approuvés.

Springer Nature a mis à jour ses politiques éditoriales pour dire que les critiques ne devraient pas télécharger un travail non publié sur des services d'IA génératifs et ne devraient pas utiliser les outils pour rédiger leurs rapports.

Le Réseau JAMA et les revues publiées par l’American Association for the Advancement of Science ont émis des restrictions comparables sur l’entrée de texte manuscrit dans les systèmes d’IA.Garde le fardeau sur les humains: le réviseur répertorié est le propriétaire du rapport, et toute implication de l'IA doit être transparente sans enlever la responsabilité.

Photo by Markus Winkler on Unsplash

Quelles sont les interdictions

Les règles varient, mais la plupart des nouvelles politiques se regroupent autour d'un petit ensemble d'actions.

• Le téléchargement d’un manuscrit non publié, d’un résumé, d’une figure ou d’un commentaire de l’examinateur sur un outil d’IA générateur public.
• Utiliser la sortie d'un modèle de langue comme base d'un rapport d'arbitre sans lire et vérifier le document sous-jacent.
• Déléguer des jugements sur la nouveauté, la rigueur, la signification ou la reproductibilité du logiciel.
• S’appuyer sur des résumés de littérature générés par l’IA qui peuvent fabriquer ou mal attribuer des références.

L’IA générative a une habitude documentée d’inventer des citations, et les éditeurs craignent que ces fabrications migrent dans les rapports des arbitres.Mise à jour STM sur la citation de l'IA dans les manuscritsIl y a eu une pression similaire du côté de l'auteur.

Ce qui reste généralement permis, c’est le travail non glamour : correction grammaticale dans un outil sans accès de formation, mise en forme de référence de base, résumé des informations publiques avant l’arrivée du manuscrit et lecture manuelle.

Hype versus réalité

Grade de réalité: les interdictions sont significatives en tant qu'exercice de normalisation et faibles en tant que mécanisme d'application. Ils arrêteront les fuites occasionnelles et non intentionnelles. Ils n'arrêteront pas un arbitre déterminé avec un modèle local ou une plateforme d'IA universitaire couverte par un accord de traitement de données.

Les partisans de l'IA générative dans les examens par pairs soulignent plusieurs utilisations légitimes. Il peut aider un non-natif anglais à polir un rapport. Il peut marquer des incohérences statistiques à la vitesse. Il peut résumer les propres notes d'un réviseur. Aucun de ceux-ci ne nécessite d'exposer le manuscrit à un chatbot de consommation.

Les éditeurs le savent.Leurs politiques ne sont pas anti-technologies autant que anti-convenience.Le problème est que la commodité est précisément ce qui conduit à l'adoption, et les revues n'ont pas construit de chemin clair pour une revue sécurisée assistée par l'IA à l'échelle.

L'indexation n'a jamais été une garantie de la qualité de l'examen, comme nous l'avons notéRenseignements sur l'indexation des journauxLes nouvelles règles de l’IA sont un autre rappel que les politiques sur papier ne sont que aussi fortes que le travail éditorial derrière elles.

Verdict: la vague de politique est réelle et le fossé d'application est grand. La clarté varie d'un journal à l'autre. Supposons que la norme la plus stricte s'applique jusqu'à ce qu'un éditeur dise le contraire.

Ce que les arbitres de carrière précoce devraient faire

Les demandes d'examen par les pairs arrivent souvent au pire moment possible pour les chercheurs en début de carrière: pendant l'écriture de thèses, entre les expériences, lors d'une recherche d'emploi et souvent sans rémunération.

Avant d'accepter un examen, lisez la politique générative de l'IA du journal. Si vous prévoyez d'utiliser n'importe quel outil d'IA, même pour la grammaire, révélez-le à l'éditeur dans une courte note.

Gardez le manuscrit hors ligne. Utilisez des gestionnaires de référence et des logiciels statistiques qui ne nécessitent pas le téléchargement de la soumission. Si vous avez besoin d'aide linguistique, utilisez un collègue ou un éditeur humain payé dans des conditions de confidentialité.

Les éditeurs ne sont pas vos adversaires ici.Le pire résultat n'est pas d'être dit non; il est demandé plus tard si un rapport d'examinateur qui porte votre nom a été écrit par un logiciel que vous n'avez pas divulgué.

Pour les chercheurs qui postulent pour des postes où le service d'évaluation par les pairs compte, un enregistrement documenté d'une évaluation minutieuse et confidentielle reste une référence.

Photo by Jonathan Kemper on Unsplash

Chaque nouvelle politique déplace la charge de côté, pas vers le haut. Une règle de confidentialité ne fonctionne que si la personne qui détient le manuscrit refuse le raccourci. C'est une norme professionnelle que les chercheurs supérieurs peuvent enseigner, les revues peuvent renforcer, mais aucun terme d'utilisation peut installer.