Dr. R, ein Rechenmaterialchemiker an einer europäischen Universität, bat Scopus AI, die jüngste Arbeit an zweidimensionalen kovalenten organischen Rahmenwerken zusammenzufassen. Das Tool gab einen selbstbewussten Absatz und sechs Referenzen zurück. Fünf stimmten mit echten Scopus-Aufzeichnungen überein. Der sechste verband einen plausiblen Autorennamen mit einer Zeitschrift, die sie virologie veröffentlichte, und die DOI wies auf einen unverwandten 2019-Artikel hin. Sie bemerkte den Fehler schnell, weil das Feld klein genug war, um seine Zeitschriften zu erkennen. Die meisten Doktoranden des ersten Jahres hätten es nicht bemerkt.
Scopus AI ist die generative-AI-Schicht von Elsevier, die auf der Spitze der Scopus-Zitate und der abstrakten Datenbank gebaut wurde. Ein Benutzer stellt eine Frage in natürlicher Sprache; das System holt relevante Scopus-Aufzeichnungen ab und verwendet sie, um eine schriftliche Antwort zu gründen. Die Antwort kommt mit Zitaten beigefügt, was es wie ein Literaturbericht eines Labmate liest. Das Problem ist, dass die Zitate aus einer generierten Zusammenfassung stammen, und die Zusammenfassung ist nur so zuverlässig wie der Abrufschritt, der sie füttert.
Was ist Scopus AI und wie funktioniert die Erweiterung
Scopus AI begann als eine begrenzte Beta im Jahr 2023 und wurde im Januar 2024 kommerziell verfügbar.Elsevier beschreibt das Tool als die Verwendung von Peer-Reviewed-Literatur, die in Scopus indexiert wurde, einschließlich Artikel, Bücher, Konferenzpapiere und Bewertungen.Generierte Antworten werden von Quellabstrakten begleitet, so dass Leser von Zusammenfassung zu Originaltext wechseln können.Seit der Einführung hat das Unternehmen den Feature-Set erweitert und Folgemaßnahmen hinzugefügt, um verwandte Themen innerhalb einer Suchsitzung zu erkunden.
Für abonnierende Universitäten ist die praktische Veränderung, dass Scopus AI jetzt in einer Datenbank sitzt, die viele Forscher bereits verwenden. Das senkt die Barriere für die Annahme. Ein Forscher, der kein separates AI-Tool öffnen würde, wird ein Suchfeld ausprobieren, das bereits auf der Entdeckungsseite der Bibliothek steht.
Unabhängige Tests und das Problem der Zitatüberprüfung
Frühe unabhängige Prüfung kam, bevor die kommerzielle Einführung die meisten Campus erreichte.Eine Bewertung vom Januar 2024 in The Scholarly Kitchenfand das Tool nützlich für die breite Themenentdeckung, warnte jedoch, dass seine Antworten von der Scopus-Abdeckung abhängen und Fachkenntnisse erfordern, um zu bewerten.A 2024 News Feature in NaturDie Forscher befragten AI akademische Suchwerkzeuge und berichteten, dass verschiedene Systeme bekannte Papiere verpassen, schwache Referenzen aufweisen und mit interdisziplinärer Arbeit zu kämpfen haben.Elsevier Produktseitezeigt die Quell-Zitate-Anzeige und Notizen an, dass Benutzer die Originalabstracts konsultieren sollten.
Ein halluziniertes Zitat ist eine Referenz, die vollständig aussieht, aber nicht einem realen, abrufbaren Dokument entspricht. Das DOI kann nicht gelöst werden oder es kann auf ein anderes Papier gelöst werden. Der Fehler kann klein sein: ein falscher Autor, eine ausgetauschte Volumennummer, ein Titel, der aus zwei Abstrakten zusammengeführt wurde, oder ein DOI, der aus einer anderen Aufzeichnung kopiert wurde. Weil die erzeugte Prosa fließend ist, passiert der Fehler Standardproofreading.
Das Hauptrisiko konzentriert sich in Feldern, in denen die Scopus-Abdeckung dünner ist oder wo die Terminologie Disziplinen überschreitet. Ein Tool kann ein Abstract aus einem angrenzenden Feld abrufen und eine plausible Zitierung anfügen, die ein Spezialist nie gewählt hätte.
Dies schafft ein Problem mit der Basisrate. Die meisten Ausgaben sind gut, aber ein Forscher, der Hunderte von generierten Referenzen verwendet, ohne zu überprüfen, wird schließlich einen Fehler importieren. Ein gefälschtes Zitat in einem Fördervorschlag oder ein eingereichtes Manuskript kann eine Integritätsabfrage auslösen, und der Rest der Arbeit wird dann unter Verdacht gelesen. Die Ausnahme ist der Fehler, der frühzeitig von einem Fachexperten erfasst wurde, der die erwarteten Zeitschriften, Autoren, Institutionen und Methoden kennt. Diese Ausnahme ist keine Sicherung; es ist ein Argument für die Behandlung jedes Ausgangs als nicht verifiziert.
Was das für Ihr Labor bedeutet
Ein Labor muss Scopus AI nicht verbieten, um es sicher zu machen.Es braucht eine Verifizierungsroutine, die stattfindet, bevor eine Referenz in ein Manuskript gelangt.
- Fügen Sie jede generierte Referenz in Crossref oder den DOI-Resolver des Journals ein, bevor Sie sie in Ihrem Referenzmanager speichern.
- Öffnen Sie die abstrakten Scopus AI-Zitate, nicht nur die generierte Zusammenfassung.
- Haben frühe Karriere-Forscher bringen eine KI-generierte Antwort auf Gruppenbesprechung und überprüfen Sie es gegen die Literatur laut, so dass die Überprüfung Gewohnheit wird öffentlich.
- Halten Sie in Ihrem Labor-Wiki eine kurze Notiz darüber, welche KI-Tools für welche Aufgaben erlaubt sind und wer die Ausgabe vor der Einreichung überprüft.
Man hat festgestellt, dass Manuskripte Referenzen enthalten, die nicht mit echten Papieren übereinstimmen, undSTM drängt auf Offenlegungsregeln rund um die Verwendung von KIDas Muster ist jetzt in beide Richtungen sichtbar: Tools, die Zitate generieren, und Autoren, die diese Zitate importieren, ohne zu überprüfen.
Institutionen lehren Verifizierung, nicht Verbot
Eine Forschungsunterstützungsbibliothek bei einer großen britischen Universität erzählte mir, dass ihr Standard-Slide jetzt liest: Scopus AI ist ein Ausgangspunkt, nicht eine Quelle.
Dieser pragmatische Ansatz trifft, woJournal Politics auf generative AIAnstatt generative KI zu verbieten, bitten die Redakteure die Autoren, zu enthüllen, wie sie es benutzt haben und zu bestätigen, dass sie Zitate überprüft haben.
Scopus AI wird wahrscheinlich zu einem Standardbestandteil der Entdeckungs-Workflows werden, bevor das Genauigkeitsproblem vollständig gelöst wird. Das macht das Tool nicht unbrauchbar. Es macht die Arbeit des Benutzers um einen Schritt länger. Das nächste Mal, wenn Sie eine Scopus AI-Abfrage ausführen, kopieren Sie das erste Zitat, das Sie in Crossref oder die eigene Seite des Herausgebers begeistert, und bestätigen Sie, dass es existiert. Wenn es nicht existiert, sagen Sie Ihrem Bibliothekar. Diese einzige Gewohnheit, die von genügend Labs wiederholt wird, ist das, was die Debatte über Zitathalluzinationen in eine engere über Randfälle verwandelt.
Photo by Brett Jordan on Unsplash
