El Dr. R, un químico de materiales computacionales en una universidad europea, pidió a Scopus AI que resumiera el trabajo reciente en los marcos orgánicos covalentes bidimensionales. La herramienta devolvió un párrafo confiable y seis referencias. Cinco coincidieron con los registros reales de Scopus. El sexto apareció un nombre de autor plausible con una revista que sabía que publicaba virología, y el DOI apuntó a un artículo de 2019 no relacionado. Ella detectó el error rápidamente porque el campo es lo suficientemente pequeño como para reconocer sus revistas. La mayoría de los estudiantes de doctorado del primer año no habrían notado.
Scopus AI es la capa de inteligencia artificial generativa de Elsevier construida en la parte superior de la base de datos de citas y abstracciones de Scopus. Un usuario hace una pregunta en lenguaje natural; el sistema recupera los registros de Scopus pertinentes y los utiliza para fundamentar una respuesta escrita. La respuesta llega con citas adjuntas, lo que hace que se lea como un briefing de literatura de un compañero de laboratorio. El problema es que las citas provienen de un resumen generado, y el resumen sólo es tan confiable como el paso de recuperación que lo alimenta.
Qué es Scopus AI y cómo funciona la expansión
Scopus AI comenzó como una beta limitada en 2023 y se hizo comercialmente disponible en enero de 2024. Elsevier describe la herramienta como basándose en la literatura revisada por pares indexada en Scopus, incluyendo artículos, libros, artículos de conferencias y revisiones. Las respuestas generadas están acompañadas de abstracciones de fuente para que los lectores puedan pasar del resumen al texto original. Desde el lanzamiento, la compañía ha ampliado el conjunto de características, añadiendo preguntas de seguimiento y formas de explorar temas relacionados dentro de una sesión de búsqueda.
Para las universidades que suscriben, el cambio práctico es que Scopus AI ahora se sienta dentro de una base de datos que muchos investigadores ya utilizan. Esto baja la barrera para la adopción. Un investigador que no abriera una herramienta de IA separada intentará una búsqueda que ya está en la página de descubrimiento de la biblioteca. La expansión es por lo tanto menos sobre la nueva tecnología y más sobre la colocación: la herramienta se mueve de un experimento a una opción predeterminada.
Testes independientes y el problema de la verificación de citas
Los primeros controles independientes llegaron antes de que el despliegue comercial llegara a la mayoría de los campus.Una revisión de enero de 2024 en The Scholarly Kitchenencontró la herramienta útil para el descubrimiento de un tema amplio, pero advirtió que sus respuestas dependen de la cobertura de Scopus y requieren conocimiento del tema para evaluar.Noticias de 2024 en NatureEncuentran herramientas de búsqueda académicas de IA y reportan que diferentes sistemas pierden documentos conocidos, superficies de referencias débiles y luchan con el trabajo interdisciplinario.Página del producto de Elseviermuestra la pantalla de cita de fuente y las notas que los usuarios deben consultar los abstractos originales.
Una cita alucinada es una referencia que parece completa pero no coincide con un documento real, recuperable. El DOI puede no resolver, o puede resolver a un papel diferente. El fallo puede ser pequeño: un autor equivocado, un número de volumen intercambiado, un título fusionado de dos abstractos, o un DOI copiado de otro registro. Debido a que la prosa generada es fluida, el error pasa la prueba estándar.
El principal riesgo se concentra en campos donde la cobertura de Scopus es más delgada o donde la terminología cruza disciplinas. Una herramienta puede recuperar un abstracto de un campo adyacente y adjuntar una cita plausible que un especialista nunca habría elegido.
Esto crea un problema de tasa de base. La mayoría de las salidas son buenas, pero un investigador que utiliza cientos de referencias generadas sin comprobar eventualmente importará un error. Una cita fabricada en una propuesta de subvención o un manuscrito presentado puede desencadenar una consulta de integridad, y el resto del trabajo se lee luego bajo sospecha. La excepción es el error capturado temprano por un experto del tema que conoce las revistas esperadas, autores, instituciones y métodos. Esa excepción no es una salvaguardia; es un argumento para tratar cada salida como no verificada.
Qué significa para tu laboratorio
Un laboratorio no necesita prohibir Scopus AI para que sea seguro. necesita una rutina de verificación que ocurra antes de que cualquier referencia entre en un manuscrito.
- Pega cada referencia generada en Crossref o en el resolver DOI de la revista antes de almacenarla en su administrador de referencias.
- Abre las citas abstractas de Scopus AI, no solo el resumen generado.El resumen puede aplastar las limitaciones de un estudio.
- Haga que los investigadores de carrera temprana lleven una respuesta generada por IA a la reunión de grupo y la comprueben contra la literatura en voz alta, de modo que el hábito de comprobar se convierta en público.
- Mantenga una breve nota en su wiki de laboratorio sobre qué herramientas de IA están permitidas para qué tareas y quién revisa la salida antes de su envío.
Se ha encontrado que los manuscritos incluyen referencias que no corresponden a papeles reales, ySTM ha impulsado las reglas de divulgación alrededor del uso de la IAEl patrón ahora es visible en ambas direcciones: herramientas que generan citas, y autores que importan esas citas sin verificar.La superposición ha convertido la verificación de citas en un paso de diligencia debida en lugar de una preocupación de nicho.
Las instituciones están enseñando verificación, no prohibición
Las bibliotecas universitarias están añadiendo cada vez más Scopus AI a las sesiones de instrucción, en parte porque los estudiantes ya lo están utilizando.Una bibliotecaria de apoyo a la investigación en una gran universidad del Reino Unido me dijo que su diapositivo predeterminado ahora lee: Scopus AI es un punto de partida, no una fuente.
Este enfoque pragmático coincide con elPeriódicos sobre generativo AIEn lugar de prohibir la IA generativa, los editores están pidiendo a los autores que revelen cómo la usaron y que confirmen que han verificado las citas.El supuesto de trabajo es que la divulgación más la verificación es más fuerte que la prohibición directa, porque la prohibición impulsa la práctica subterránea.
Scopus AI es probable que se convierta en una parte estándar de los flujos de trabajo de descubrimiento antes de que se resuelva completamente el problema de su exactitud. Esto no hace que la herramienta sea inutilizable. Hace que el trabajo del usuario sea más largo por un paso. La próxima vez que ejecute una consulta de Scopus AI, copie la primera cita que te excita en Crossref o la propia página del editor y confirme que existe. Si no lo hace, dígale a tu bibliotecario. Ese hábito único, repetido por suficientes laboratorios, es lo que transformará el debate sobre la alucinación de citas en una más estrecha sobre los casos de borde.
Photo by Brett Jordan on Unsplash