Der Wettbewerb, generative KI in die wissenschaftliche Veröffentlichung zu bringen, hat eine politische Auseinandersetzung hervorgebracht, die niemand erwartet hat.
Über 2023 und 2024 änderten große Zeitschriften und Forschungsfinanzierer leise ihre Regeln darüber, was ein Peer-Reviewer mit einem großen Sprachmodell tun kann. Die US-amerikanischen National Institutes of Health, Elsevier, Springer Nature, Wiley, das JAMA-Netzwerk und der Ausschuss für Veröffentlichungsethik veröffentlichten oder aktualisierten Leitlinien.
Es klingt wie eine schmale administrative Lösung. Es ist nicht. Peer-Review bleibt der eine Teil der Zeitschrift Veröffentlichung, wo Vertraulichkeit und Expertenurteil sind das gesamte Produkt. Ein schwaches Papier kann nach der Veröffentlichung korrigiert werden.
Generative KI-Systeme wie ChatGPT, Claude und Gemini sitzen jetzt in den täglichen Forschungs-Workflows für das Erstellen, Codieren, Zusammenfassen von Zuschusstexten und die Vorbereitung von Kursmaterialien. Verlage haben Jahre damit verbracht, diese Verwendungen zu fördern. Ein Schiedsrichterbericht ist anders. Es erfordert eine spezifische Bewertung von nicht veröffentlichten Daten, Methoden und Interpretationen unter einer Vertraulichkeitsvereinbarung.
Hier ist der Catch
Die Regeln sind einfach zu veröffentlichen und für die Polizei schwierig. Redakteure sehen den Abschlussbericht, nicht den Ausarbeitungsprozess. Ein Reviewer kann ein privates Modell auf einer lokalen Maschine ausführen, ein Manuskript in Abschnitte einfügen, sich auf ein institutionelles Werkzeug mit eigenen Datenbedingungen stützen oder einen Kollegen bitten, die Einreichung zusammenzufassen, und kein Editor wird es bemerken.
Textklassifizierer bleiben auf kurze, technische, personenspezifische Prosa unzuverlässig, und eine falsche Anklage gegen einen Schiedsrichter ist institutionell teuer in einem System, das bereits Schwierigkeiten hat, Rezensenten zu finden.
Die Richtlinien teilen sich auch auf die grundlegendste Frage: Offenlegung oder Verbot. Einige Verlage erlauben generative KI, wenn ihre Verwendung angekündigt wird. Andere verbieten es vollständig. Einige Geldgeber verbieten jegliche AI-Hilfe in der Beihilfeüberprüfung. Ein einzelner Reviewer kann drei verschiedenen Standards in der gleichen Woche konfrontiert sein.
Die Ankündigungen zeigen Absicht, aber die Durchsetzung hängt immer noch vom Ehrensystem ab.
Was die großen Spieler wirklich verändert haben
Im Juni 2023 haben die US-amerikanischen National Institutes of HealthReviewer von der Verwendung von generativer AI untersagtdie Beihilfeanträge zu analysieren oder zu kritisieren, wobei gewarnt wird, dass solche Werkzeuge die Vertraulichkeit und die Integrität des Prozesses gefährden könnten.
Die Leitlinien der Elsevier-Reviewer sagen den Schiedsrichtern, keine generativen KI- oder KI-unterstützten Tools zu verwenden, um bei der wissenschaftlichen Überprüfung eines Manuskripts zu helfen.Die Richtlinien des Herausgebers konzentrieren sich auf Vertraulichkeit, persönliche Rechenschaftspflicht, Originalität und Offenlegung und bitten die Reviewer, Beiträge aus nicht genehmigten Systemen zu halten.
Springer Nature hat seine redaktionellen Richtlinien aktualisiert, um zu sagen, dass Reviewer keine unveröffentlichte Arbeit auf generative KI-Dienste hochladen sollten und die Tools nicht verwenden sollten, um ihre Berichte zu erstellen.
Das JAMA-Netzwerk und Zeitschriften, die von der American Association for the Advancement of Science veröffentlicht wurden, haben vergleichbare Einschränkungen für die Eingabe von Manuskripttexten in KI-Systeme erlassen.Behält die Last auf den Menschen: der aufgeführte Reviewer besitzt den Bericht, und jede Beteiligung an KI muss transparent sein, ohne Rechenschaftspflicht zu entziehen.
Photo by Markus Winkler on Unsplash
Was die Verbote decken
Die Regeln variieren, aber die meisten neuen Richtlinien klammern sich um eine kleine Reihe von Aktionen.
- Das Hochladen eines unveröffentlichten Manuskripts, Abstracts, Figuren oder Kommentars an ein öffentliches generatives AI-Tool.
- Verwendung der Ausgabe eines Sprachmodells als Grundlage für einen Schiedsbericht, ohne das zugrunde liegende Papier zu lesen und zu überprüfen.
- Delegieren von Urteilen über Neuheit, Strenge, Bedeutung oder Reproduzierbarkeit der Software.
- Vertrauen auf KI-generierte Literaturübersichten, die Referenzen fälschen oder falsch zuschreiben können.
Generative AI hat eine dokumentierte Gewohnheit, Zitate zu erfinden, und Verlage befürchten, dass diese Fabrikationen in Schiedsrichterberichte migrieren werden.STM-Update zu AI-Zitate in ManuskriptenEin ähnlicher Druck auf der Seite des Autors.
Was normalerweise erlaubt bleibt, ist die unglamoröse Arbeit: Grammatikkorrektur in einem Werkzeug ohne Schulungszugang, grundlegende Referenzformatierung, Zusammenfassung öffentlicher Informationen vor der Ankunft des Manuskripts und manuelles Proofreading.
Hype versus Realität
Realitätsgrad: Die Verbote sind sinnvoll als Normungsübung und schwach als Durchsetzungsmechanismus. Sie werden zufällige, unbeabsichtigte Leckagen stoppen. Sie werden keinen entschlossenen Schiedsrichter mit einem lokalen Modell oder einer AI-Plattform der Universität stoppen, die von einer Datenverarbeitungsvereinbarung abgedeckt ist.
Befürworter der generativen KI in Peer-Review weisen auf mehrere legitime Verwendungen hin. Es kann einem Nicht-Englischsprachigen helfen, einen Bericht zu polieren. Es kann statistische Inkonsistenzen in der Geschwindigkeit markieren. Es kann die eigenen Notizen eines Reviewer zusammenfassen. Keiner von ihnen erfordert, dass das Manuskript einem Verbraucher-Chatbot ausgesetzt wird.
Die Verlage wissen das. Ihre Richtlinien sind nicht so viel Anti-Technologie wie Anti-Komfort. Das Problem ist, dass Komfort genau das ist, was die Annahme treibt, und Zeitschriften haben keinen klaren Weg für eine sichere AI-unterstützte Überprüfung im Maßstab aufgebaut.
Indexierung war nie eine Garantie für die Qualität der Rezensionen, wie wir bemerkt habenBerichterstattung über die Zeitschrift IndexierungDie neuen KI-Regeln sind eine weitere Erinnerung daran, dass die Politik auf dem Papier nur so stark ist wie die redaktionelle Arbeit dahinter.
Urteil: Die politische Welle ist real und die Durchsetzungslücke groß. Klarheit variiert von Zeitschrift zu Zeitschrift. Nehmen Sie an, dass der strengste Standard gilt, bis ein Redakteur anders sagt.
Was frühe Karriere Richter tun sollten
Peer-Review-Anfragen kommen oft in der schlechtesten Zeit für Forscher in der frühen Karriere: während der Arbeitsschreibung, zwischen Experimenten, in einer Jobsuche und oft ohne Bezahlung.Die neuen Regeln fügen eine weitere Schicht hinzu.
Bevor Sie eine Bewertung akzeptieren, lesen Sie die generative KI-Richtlinie der Zeitschrift. Wenn Sie beabsichtigen, jedes KI-Tool zu verwenden, auch für Grammatik, geben Sie es dem Editor in einer kurzen Notiz bekannt.
Halten Sie das Manuskript offline. Verwenden Sie Referenzmanager und statistische Software, die das Hochladen der Einreichung nicht erfordert. Wenn Sie sprachliche Hilfe benötigen, verwenden Sie einen Kollegen oder einen bezahlten menschlichen Editor unter Vertraulichkeitsbedingungen.
Das schlimmste Ergebnis ist nicht, nein gesagt zu werden; es wird später gefragt, ob ein Reviewer-Bericht, der Ihren Namen trägt, von Software geschrieben wurde, die Sie nicht offenbart haben.
Für Forscher, die sich für Positionen bewerben, in denen Peer-Review-Service zählt, bleibt eine dokumentierte Aufzeichnung einer sorgfältigen, vertraulichen Überprüfung eine Zertifizierung.
Photo by Jonathan Kemper on Unsplash
Jede neue Politik verschiebt die Belastung seitwärts, nicht nach oben. Eine Vertraulichkeitsregel funktioniert nur, wenn die Person, die das Manuskript hält, die Abkürzung ablehnt. Das ist eine professionelle Norm, die Senior-Forscher lehren können, Zeitschriften können verstärken, aber keine Nutzungsbedingungen können installieren.