La carrera para poner la IA generativa en la publicación científica ha producido un enfrentamiento político que nadie esperaba.
A través de 2023 y 2024, las principales revistas y financiadores de investigación silenciosamente cambiaron sus reglas sobre lo que un revisor de pares puede hacer con un modelo de lenguaje grande.Los Institutos Nacionales de Salud de Estados Unidos, Elsevier, Springer Nature, Wiley, la JAMA Network y el Comité de Ética de Publicación todos publicaron o actualizaron la guía. La instrucción compartida: no peguen un manuscrito no publicado en una herramienta pública de IA, y no dejen que uno escriba el informe del árbitro.
Suena como una corrección administrativa estrecha. No es. La revisión por pares sigue siendo la única parte de la publicación de revistas donde la confidencialidad y el juicio de expertos son el producto entero. Un papel débil se puede corregir después de la publicación. No se puede recordar un manuscrito perdido o una crítica alucinada.
Los sistemas de IA generativos como ChatGPT, Claude y Gemini ahora se encuentran dentro de los flujos de trabajo de investigación diarios para redactar, codificar, resumir el texto de la subvención y preparar los materiales del curso. Los editores pasaron años alentando esos usos. Un informe del árbitro es diferente. Requiere una evaluación específica de los datos no publicados, métodos e interpretación bajo un acuerdo de confidencialidad. Una vez que un manuscrito entra en un modelo con configuraciones de retención no claras, ese acuerdo se rompe.
Aquí está el catch
Los editores ven el informe final, no el proceso de redacción.Un revisor puede ejecutar un modelo privado en una máquina local, pegar un manuscrito en secciones, apoyarse en una herramienta institucional con sus propios términos de datos, o pedir a un colega que resuma la presentación, y ningún editor se dará cuenta.
Los clasificadores de texto siguen siendo poco fiables en prosa corta, técnica, específica de la persona, y una acusación falsa contra un árbitro es institucionalmente costosa en un sistema que ya está luchando por encontrar revisores.
Las políticas también se dividen en la cuestión más básica: divulgación o prohibición. Algunos editores permiten la IA generativa si se declara su uso. Otros lo prohíben completamente. Algunos financiadores prohíben cualquier ayuda de IA en la revisión de subvenciones.
Los anuncios demuestran la intención, pero la ejecución todavía depende del sistema de honor.
Lo que cambiaron los grandes jugadores
En junio de 2023, los Institutos Nacionales de Salud de Estados UnidosProhíben a los revisores usar AI generativoAnalizar o criticar las solicitudes de subvenciones, advirtiendo de que tales herramientas podrían comprometer la confidencialidad y la integridad del proceso.
La guía de los revisores de Elsevier dice a los árbitros que no utilicen herramientas generativas de IA o asistidas por IA para ayudar en la revisión científica de un manuscrito.La política del editor se centra en la confidencialidad, la responsabilidad personal, la originalidad y la divulgación, y pide a los revisores que mantengan las presentaciones fuera de los sistemas no aprobados.
Springer Nature actualizó sus políticas editoriales para decir que los revisores no deben subir trabajo no publicado a los servicios generativos de IA y no deben usar las herramientas para redactar sus informes.
La Red JAMA y las revistas publicadas por la Asociación Americana para el Avance de la Ciencia han emitido restricciones comparables sobre la entrada de texto manuscrito en los sistemas de IA.Mantenga la carga sobre los humanos: el revisor listado es el propietario del informe, y cualquier participación de IA debe ser transparente sin quitarle la responsabilidad.
Photo by Markus Winkler on Unsplash
Qué cubren las prohibiciones
Las reglas varían, pero la mayoría de las nuevas políticas se agrupan en torno a un pequeño conjunto de acciones.
- Cargar un manuscrito no publicado, abstracto, figura o comentario de revisores a una herramienta de IA generativa pública.
- Usar la salida de un modelo de idioma como base de un informe del árbitro sin leer y verificar el documento subyacente.
- Delegar juicios sobre la novedad, rigurosidad, significado o reproductibilidad del software.
- Confía en resúmenes de literatura generados por IA que pueden fabricar o atribuir incorrectamente referencias.
El último punto no es hipotético. la IA generativa tiene un hábito documentado de inventar citas, y los editores temen que esas fabricaciones migren a los informes de los árbitros.Actualización de STM sobre citation-stuffing de IA en manuscritosuna presión similar por parte del autor.
Lo que por lo general queda permitido es el trabajo no lujoso: corrección gramatical en una herramienta sin acceso de formación, formatación de referencia básica, resumir la información pública antes de que llegue el manuscrito y comprobación manual.La línea divisoria es menos la tecnología que lo que la tecnología ve.
Hype versus realidad
Realidad: las prohibiciones son significativas como un ejercicio de definición de normas y débiles como un mecanismo de ejecución. Ellos detendrán las filtraciones accidentales e involuntarias.
Los defensores de la IA generativa en la revisión de pares apuntan a varios usos legítimos. Puede ayudar a un hablante no nativo de inglés a pulir un informe. Puede marcar inconsistencias estadísticas a la velocidad. Puede resumir las propias notas de un revisor. Ninguno de ellos requiere exponer el manuscrito a un chatbot de consumidores.
Sus políticas no son tanto anti-tecnología como anti-conveniencia.El problema es que la conveniencia es precisamente lo que impulsa la adopción, y las revistas no han construido un camino claro para una revisión segura asistida por IA a escala.
La indexación nunca ha sido una garantía de calidad de la revisión, como hemos señalado.Información sobre la indexación de periódicosLas nuevas reglas de IA son otro recordatorio de que las políticas en papel son tan fuertes como el trabajo editorial detrás de ellas.
Veredicto: la onda de políticas es real y la brecha de ejecución es grande. La claridad varía de revista a revista. Asuma que el estándar más estricto se aplica hasta que un editor diga lo contrario.
Qué deben hacer los jueces de carrera temprana
Las solicitudes de revisión por pares a menudo llegan en el peor momento posible para los investigadores de carrera temprana: durante la escritura de tesis, entre experimentos, en una búsqueda de empleo y a menudo sin pago.
Antes de aceptar una revisión, lea la política de IA generativa de la revista. Si planea usar cualquier herramienta de IA, incluso para la gramática, déjalo a conocer al editor en una breve nota.
Mantenga el manuscrito fuera de línea. Utilice gestores de referencia y software estadístico que no requieran cargar la presentación. Si necesita ayuda lingüística, utilice un colega o un editor humano pagado bajo condiciones de confidencialidad.
El peor resultado no es que se le diga no; se le pregunta más tarde si un informe de revisores que lleva su nombre fue escrito por software que no reveló.
Para los investigadores que solicitan posiciones en las que cuenta el servicio de revisión por pares, un registro documentado de una revisión cuidadosa y confidencial sigue siendo una credencial.
Photo by Jonathan Kemper on Unsplash
La advertencia más destacada proviene de los propios revisores.Cada nueva política mueve la carga a los lados, no hacia arriba.Una regla de confidencialidad sólo funciona si la persona que detiene el manuscrito rechaza el abreviado.Esa es una norma profesional que los investigadores superiores pueden enseñar, las revistas pueden reforzar, pero no hay términos de uso que puedan instalar.