Dr. R, un chimiste des matériaux informatiques à une université européenne, a demandé à Scopus AI de résumer le travail récent sur les cadres organiques covalents bidimensionnels. L'outil a renvoyé un paragraphe confiant et six références. Cinq correspondaient à des enregistrements Scopus réels. Le sixième a associé un nom d'auteur plausible à un journal qu'elle connaissait publié en virologie, et le DOI a indiqué un article 2019 non lié. Elle a rapidement remarqué l'erreur parce que le champ est assez petit pour qu'elle reconnaisse ses journaux. La plupart des étudiants de premier cycle ne l'auraient pas remarqué.
Scopus AI est la couche générative-AI d'Elsevier construite en haut de la citation de Scopus et de la base de données abstraite. Un utilisateur pose une question en langage naturel; le système récupère les enregistrements de Scopus pertinents et les utilise pour fonder une réponse écrite. La réponse arrive avec des citations jointes, ce qui la rend lisible comme un briefing de la littérature d'un collègue de laboratoire. Le problème est que les citations proviennent d'un résumé généré, et le résumé est seulement aussi fiable que l'étape de récupération qui l'a nourri.
Qu’est-ce que Scopus AI et comment l’expansion fonctionne
Scopus AI a commencé comme une bêta limitée en 2023 et est devenu commercialement disponible en janvier 2024. Elsevier décrit l'outil comme tirant parti de la littérature évaluée par des pairs indexée dans Scopus, y compris des articles, des livres, des documents de conférence et des critiques. Les réponses générées sont accompagnées d'abstracts de source afin que les lecteurs puissent passer du résumé au texte original.
Pour les universités qui souscrivent, le changement pratique est que Scopus AI se trouve maintenant à l'intérieur d'une base de données que de nombreux chercheurs utilisent déjà. Cela abaisse la barrière à l'adoption. Un chercheur qui n'ouvrirait pas un outil d'IA séparé essaiera une case de recherche qui se trouve déjà sur la page de découverte de la bibliothèque.
Tests indépendants et problème de vérification des citations
Les premiers contrôles indépendants sont arrivés avant que le déploiement commercial n’atteigne la plupart des campus.Une revue de janvier 2024 dans The Scholarly Kitchena trouvé l'outil utile pour la découverte d'un sujet large, mais a averti que ses réponses dépendent de la couverture de Scopus et nécessitent des connaissances sur le sujet à évaluer.Une nouvelle de 2024 dans NatureLes chercheurs ont enquêté sur les outils de recherche académiques de l’IA et ont rapporté que les différents systèmes manquaient de documents connus, que les références superficielles étaient faibles et qu’ils avaient du mal à travailler dans des domaines interdisciplinaires.La page de produit d'Elsevieraffiche l'affichage de la source-citation et des notes que les utilisateurs devraient consulter les abstracts originaux.
Une citation hallucinée est une référence qui semble complète mais ne correspond pas à un document réel, récupérable. Le DOI peut ne pas résoudre, ou il peut résoudre à un autre papier. L'échec peut être mineur: un auteur erroné, un numéro de volume échangé, un titre fusionné à partir de deux abstracts, ou un DOI copié à partir d'un autre enregistrement.
Le risque principal est concentré dans les domaines où la couverture de Scopus est plus mince ou où la terminologie traverse des disciplines. Un outil peut récupérer un extrait d'un champ adjacent et joindre une citation plausible qu'un spécialiste n'aurait jamais choisie. Dans les domaines à volume élevé, les chances qu'un résumé généré soit utile sont plus élevées simplement parce qu'il y a plus de documents indexés à récupérer.
Cela crée un problème de taux de base. La plupart des sorties sont bonnes, mais un chercheur qui utilise des centaines de références générées sans vérifier importe finalement une erreur. Une citation fabriquée dans une proposition de subvention ou un manuscrit soumis peut déclencher une requête d'intégrité, et le reste de l'œuvre est ensuite lu sous suspicion. L'exception est l'erreur prise tôt par un expert du sujet qui connaît les revues attendues, les auteurs, les institutions et les méthodes. Cette exception n'est pas une sauvegarde; c'est un argument pour traiter chaque sortie comme non vérifiée.
Ce que cela signifie pour votre laboratoire
Un laboratoire n'a pas besoin d'interdire Scopus AI pour le rendre sûr.Il a besoin d'une routine de vérification qui se produit avant que toute référence entre dans un manuscrit.
- Insérez chaque référence générée dans Crossref ou le résolveur DOI du journal avant de la stocker dans votre gestionnaire de références.
- Ouvrez les citations abstraites de Scopus AI, pas seulement le résumé généré.
- Les chercheurs de la première carrière apportent une réponse générée par l'IA à la réunion de groupe et la vérifient à haute voix contre la littérature, de sorte que l'habitude de vérification devienne publique.
- Gardez une brève note dans votre wiki de laboratoire sur quels outils d'IA sont autorisés pour quelles tâches et qui examine la sortie avant la soumission.
Les éditeurs sont confrontés au même problème du côté de l'auteur.Les manuscrits ont été trouvés pour inclure des références qui ne correspondent pas à des documents réels, etSTM a poussé les règles de divulgation autour de l'utilisation de l'IALe modèle est maintenant visible dans les deux sens: les outils qui génèrent des citations et les auteurs qui importent ces citations sans vérifier.
Les institutions enseignent la vérification, pas l'interdiction
Les bibliothèques universitaires ajoutent de plus en plus Scopus AI aux sessions d'instruction, en partie parce que les étudiants l'utilisent déjà. Une bibliothécaire de soutien à la recherche à une grande université du Royaume-Uni m'a dit que sa diapositive par défaut lit maintenant: Scopus AI est un point de départ, pas une source.
Cette approche pragmatique correspond àPolitiques de journaux sur générative AIAu lieu d'interdire l'IA générative, les éditeurs demandent aux auteurs de révéler comment ils l'ont utilisé et de confirmer qu'ils ont vérifié les citations.
Scopus AI est susceptible de devenir une partie standard des flux de travail de découverte avant que le problème de précision ne soit complètement résolu. Cela ne rend pas l'outil inutilisable. Il rend le travail de l'utilisateur plus long d'un pas. La prochaine fois que vous exécutez une requête Scopus AI, copiez la première citation qui vous excite dans Crossref ou la page de l'éditeur et confirmez qu'elle existe. Si ce n'est pas le cas, dites à votre bibliothécaire. Cette habitude unique, répétée par suffisamment de laboratoires, est ce qui transformera le débat sur l'hallucination de citation en une plus étroite sur les cas d'avant-garde.
Photo by Brett Jordan on Unsplash