Peer Review Didn't Die. es bewegte sich.

Im Oktober 2024 kündigte Clarivate an, dass eLife unter den Indexierungsregeln des Unternehmens keinen Journal Impact Factor mehr erhalten würde, eine direkte Folge des im Januar 2023 eingeführten publish-review-curate Modells eLife.

Dieser Kampf ist kein Nischenstreit zwischen einem Verlag und einem Datenunternehmen.Es markiert den Moment, in dem Preprint-Überlagerungszeitschriften und Peer-Review-Modelle nach der Veröffentlichung aufgehört haben, Experimente zu sein und begannen, das Forschungssystem zu zwingen, zu erklären, wie Bewertung funktionieren soll.

Was ein Overlay Journal eigentlich tut

Ein Overlay-Journal besitzt oder beherbergt nicht die von ihm bewerteten Papiere. Es sitzt auf einem vorhandenen Preprint-Server, typischerweise arXiv, bioRxiv, medRxiv oder einem institutionellen Repository. Der Artikel bleibt auf dem Repository. Das Overlay-Journal fügt hinzu, was eine traditionelle Zeitschrift hinzufügen würde: eine Peer-Review, eine Empfehlung, ein zitierbarer Qualitätsmarker und einen Platz im akademischen Gespräch, den ein nackter Preprint nicht bietet.

Discrete Analysis, 2016 vom Mathematiker Timothy Gowers gestartet, ist ein klassischer früher Fall. Es veröffentlicht nur Artikel, die zuerst auf arXiv erscheinen und fügt Schiedsberichte hinzu, anstatt neue PDFs für die Website eines Herausgebers zu produzieren. Die Produktionskosten sind nahe an Null; das redaktionelle Urteil ist das Produkt.

Die Modelle sind nicht alle gleich

Nach der Veröffentlichung Peer Review ist ein Dachtermin breit genug, um echte Unterschiede zu verbergen. Es umfasst formale Überprüfung nach der Veröffentlichung, Kommentare von jedem Leser hinterlassen, Zeitschrift unabhängige Überprüfung, die vor einem Papier eine Zeitschrift erreicht, und die Low-Stakes-Note, die nie geschrieben wird.

• eLife’s Revised Preprints veröffentlicht.Jedes Papier, das redaktionelle Screening löscht, wird veröffentlicht, gefolgt von öffentlichen Bewertungen und einer eLife-Bewertung. Autoren überprüfen, und der gleiche Artikel sammelt Versionen.
• Plattform mit eingeladenen Bewertungen. F1000Forschung, im Jahr 2012 gestartet, veröffentlicht innerhalb von Tagen, dann zählt benannte Bewertungen. Zwei positive Bewertungen reichen aus, damit ein Artikel Indexierungsdatenbanken wie PubMed betreten kann.
• Empfehlung der Gemeinschaft. Peer Community inFührt Gemeinschaften durch, die Prämints bereits in Repositories überprüfen. Eine PCI-Empfehlung ist ein öffentliches Qualitätssignal, das Autoren mit Zeitschriften oder Spendern verwenden können.
• Zeitung unabhängige Überprüfung. Bewertung Commons, ein gemeinsames Projekt von EMBO und ASAPbio, bietet Peer-Review vor der Einreichung, so dass Autoren die gleichen Berichte in mehrere Zeitschriften gehen können.

Jede Version reorganisiert die gleichen Aufgaben: Hosting, Überprüfung, Validierung und die Abrechnung, die sie zusammenführte. eLife bewegt die Validierung nach der Veröffentlichung. F1000Research macht die Veröffentlichung den ersten Schritt und überprüft den zweiten. Peer Community In entfernt die Zeitschrift vollständig aus der Schleife, bis eine Empfehlung existiert.

Photo by Emily Park on Unsplash

Hier ist der Catch

Das Modell geht davon aus, dass Reviewer die gleiche unbezahlte Arbeit tun werden, kurz später und in der Öffentlichkeit.Diese Annahme trägt dünn.Rezensionen auf Préfints bleiben gering im Vergleich zur Anzahl der veröffentlichten Préfints.eLife's eigenes Modell begegnet dem Mangel, indem es Reviewer vor der Veröffentlichung zuweisen, was bedeutet, dass die Überprüfung immer noch auf der Zeitlinie eines Herausgebers stattfindet, nicht eines Lesers.Die Hauptänderung ist, dass das Ablehnungssignal verschwindet; eine eLife-Bewertung, die eine unvollständige Studie nennt, funktioniert immer noch als Urteil, aber das Papier bleibt zitierbar.

Der letzte Teil ist das, was Clarivate für beunruhigend hielt. Die Erklärung des Unternehmens, den Journal Impact Factor zurückzuhalten, war nicht, dass die Wissenschaft von eLife schlechter wurde. Es war, dass der Prozess von eLife nicht mehr der Definition eines Journals des Unternehmens entspricht.Indexierung ist keine QualitätsgarantieDer Verlust eines Index-Badges kann für Karrieren von Bedeutung sein, während sich nichts an der Gültigkeit eines Papiers ändert.

Funder-Plattformen wie Wellcome Open Research und Gates Open Research zeigen das gleiche Muster. Veröffentlichung ist schnell. Bewertung ist nicht. Ein Artikel kann nach zwei genehmigenden Bewertungen indexiert werden, aber wenn ein Reviewer um große Änderungen bittet und die Autoren nicht einverstanden sind, sitzt das Papier in Limbo mit einer öffentlichen Aufzeichnung, die unfertig aussieht. Für Leser ist ein Vordruck mit zwei unterzeichneten Meinungen nicht ganz ein verifiziertes Ergebnis.

Billig ist nicht dasselbe wie finanziert

Overlay-Magazine versprechen, die Kosten für die Typsetung, das Hosting und den Großteil der Produktionskette auszuschließen. Das stimmt, soweit es geht. Diskrete Analyse läuft auf Freiwilligenarbeit und arXiv-Infrastruktur, und Peer Community In hat keine Autorengebühren. Ein System, das von unbezahlter Koordination abhängt, neigt dazu, durch Burnout zu skalieren, nicht durch Finanzierung.Diamant Offener Zugang, wo keine Autor- oder Lesegebühren immer noch jemanden hinterlassen, der die Rechnung für die Plattform, die rechtliche Arbeit und die Mitarbeiterzeit hält.

Einige Plattformen laufen auf Servicegebühren von Universitäten oder Konsortien; andere laufen auf Zuschussunterstützung.

Vermietungskomitees haben immer noch ihre eigene Uhr

Der Einstellungsausschuss kümmert sich nicht um die Produktionskette. Es kümmert sich um die elf Minuten pro Datei. Ein überprüfter Vorabdruck kann ein besserer Beweis sein als ein bezahlter Artikel, aber wenn der Ausschuss ihn nicht in eine vertraute Rangfolge platzieren kann, wird er als Risiko behandelt. Die Fixierung ist kein weiterer Indikator. Förder- und Instandhaltungsrichtlinien müssen überprüfte Vorabdrucke, PCI-Empfehlungen, Überlagerungszeitschriftartikel und die öffentlichen Überprüfungsberichte, die ihnen als legitime Beweise beigefügt sind, benennen.

Für Kandidaten in der frühen Karriere besteht der praktische Schritt darin, Überlappungs- und Nachveröffentlichungsbewertungsarbeiten mit einer einleitenden Erklärung dessen vorzulegen, was die Empfehlung bedeutet.

Photo by Philip Strong on Unsplash

Generative AI macht Post-Publikation Review schwieriger

Die Veröffentlichung zuerst und das Sammeln von Rezensionen später erzeugt eine größere Fläche für die Manipulation. Die gleichen generativen KI-Tools, die Schiedsberichte für traditionelle Zeitschriften schreiben können, können Kommentare auf Pretripts schreiben.Generative AI in Peer ReviewJedes System nach der Veröffentlichung muss sagen, wer als Reviewer zählt, ob Identitäten überprüft werden und wie Interessenkonflikte bewältigt werden.

Asapbihat Jahre damit verbracht, für eine offene Preprint-Bewertung zu drängen, und seine Arbeit ist ein nützlicher Test dafür, ob die Geldgeber für den menschlichen Teil des Prozesses bezahlen werden.Die Technologie ist nicht die Flasche.

Was als nächstes geschieht

Die nächsten zwölf Monate werden zeigen, ob die Förderer die Anerkennung erweitern, die Indizes sich anpassen, die Einstellungsausschüsse ihre Checklisten ändern und die Promotion-Codes der Universitäten den Sternschild aus den Prämints entfernen. Das Überlappungsmagazin ist keine Randidee mehr, und das Nachveröffentlichungsbewertungsmodell ist kein Gedankenstück mehr. Beide haben jetzt genügend reale Fälle - eLife's Review Preprints, F1000Research's Versionierte Papiere, PCI's Empfehlungen, Review Commons Berichte - dass das Gespräch von der Frage, ob sie existieren oder nicht, zu der Frage, wie sie regiert werden sollten, gehen kann.

Michael Eisen, der Genetiker, der eLife bearbeitete, als sein neues Modell gebaut wurde, verbrachte Jahre damit, Institutionen zu sagen, die Wissenschaft und nicht den Ort zu beurteilen. Er ist nicht mehr in diesem Stuhl. Die Institutionen, die er kritisierte, beschäftigen immer noch, fördern immer noch, sortieren immer noch, fragen immer noch nach dem bekannten Badge. Ein Modell, das Bewertungen von der Veröffentlichung trennt, wird nur dann von Bedeutung sein, wenn diese Institutionen entscheiden, dass die Trennung legitim ist.