"Warum würden unsere besten Forscher zustimmen, dass ihre Analyseplaner überprüft werden, bevor sie die Daten gesehen haben?" Das war die Frage, die mir im letzten Monat eine britische stellvertretende Vize-Kanzlerin für Forschung gestellt hat, während ihre Institution debattierte, ob sie registrierte Berichte in Förderkriterien anerkennen sollte.
Registrierte Berichte sind ein Veröffentlichungsformat, das die übliche Sequenz umkehrt. Ein Autor legt ein Manuskript der Stufe 1 ein, das die Einführung, die Methode, die vorgeschlagenen Analysen und eine detaillierte Leistungsanalyse enthält, bevor sie Daten sammeln. Reviewer bewerten die Forschungsfrage und das Studiendesign, während sie immer noch etwas ändern können. Wenn der Plan verabschiedet wird, gewährt die Zeitschrift grundsätzliche Annahme, eine Verpflichtung, die endgültigen Ergebnisse zu veröffentlichen, sofern das Protokoll befolgt wird.
Der Punkt ist es, zwei langjährige Probleme zu reduzieren. Veröffentlichungsvorurteile bedeutet, dass null Ergebnisse oft nie gedruckt werden, weil Redakteure und Autoren positive Ergebnisse bevorzugen. HARKing, oder Hypothesen, nachdem die Ergebnisse bekannt sind, ermöglicht es Forschern, unerwartete Ergebnisse so zu präsentieren, als ob sie die ganze Zeit vorhergesagt worden wären.
Im Jahr 2015 veröffentlichte die Open Science Collaboration eine Replikation von 100 Psychologie-Studien und stellte fest, dass 36 Replikationen statistisch signifikante Ergebnisse lieferten, verglichen mit 97 der ursprünglichen Studien.
Wo die Aufnahme tatsächlich steht
Cortex und Perspectives on Psychological Science gehörten zu den ersten Zeitschriften, die registrierte Berichte im Jahr 2013 formalisierten.Der Ansatz verbreitete sich dann ungleichmäßig über Neurowissenschaften, soziale Psychologie, Ökologie und Krebsforschung.Das Zentrum für offene Wissenschaft pflegt jetzt ein Verzeichnis von Zeitschriften, die das Format anbieten, eine Liste, die 300 Titel überschritten hat.
Die meisten Zeitschriften, die das Format anbieten, erhalten jedes Jahr wenige Phase 1-Einreichungen. Die Autoren befürchten, dass sich ein Plan vor der Datenerhebung zu verpflichten, die erforschende Arbeit bestrafen wird, dass eine fehlgeschlagene Phase 1-Überprüfung Monate kosten wird, oder dass eine Zeitschrift mit niedrigerer Namenerkennung einen Einstellungsausschuss nicht beeindrucken wird.
Was die Geldgeber jetzt verlangen
Unterstützer haben sich vorsichtiger als Zeitschriften bewegt, aber eine Handvoll haben aufgehört, registrierte Berichte nur als eine qualifizierte Publikationsart zu behandeln.Registrierte Berichte Finanzierung Partnerschaftist eines der klarsten Beispiele: Es unterstützt Studien durch die Registered Reports Route und verknüpft die Finanzierungsentscheidungen mit dem zweistufigen Überprüfungsprozess.Ein Team erhält vorläufige Finanzierung für eine Studie und arbeitet dann durch Phase 1 Peer Review; Prinzipielle Akzeptanz eröffnet die volle Auszeichnung.
Wellcome Open Forschung, die offene Forschungsplattform für Wellcome-finanzierte Teams, hat Registered Reports zu einem verfügbaren Artikel-Typ gemacht, so dass Forscher das Protokoll und die abgeschlossene Studie in einem finanzierten Workflow veröffentlichen können.
Keine große US-Bundesforschungsagentur erfordert registrierte Berichte über sein gesamtes Förderportfolio, und der stärkere Bundesdruck hat sich auf die Datenverwaltung und den Austausch von Anforderungen konzentriert. UK und europäische Förderer waren mehr bereit, Ring-beschränkte Anrufe zu pilotieren und in-Prinzip Akzeptanz als Signal der Forschungsqualität in der Förderbewertung zu behandeln. Das politische Bild ist ungleichmäßig, aber die Richtung hat sich von der Ermutigung zu selektiven Mandat verschoben.
Die Zahlen hinter einer langsamen Revolution
Peer Community in registrierten BerichtenDie Plattform überprüft Phase 1-Protokolle unabhängig und empfiehlt akzeptierte Arbeiten an ein Netzwerk von teilnehmenden Zeitschriften. Das ändert die Arithmetik für einen frühen Karriereforscher: Das Protokoll kann einmal überprüft werden, und die Zeitschriftwahl kann nach grundsätzlicher Akzeptanz statt vor der Datenerhebung erfolgen.
Registrierte Berichte sind in Zeitschriften wie der Royal Society Open Science und Nature Human Behaviour häufig genug, um sichtbar zu sein, aber sie bleiben in der Biomedizin als Ganzes selten.
Forscher, die registrierte Berichte folgen, arbeiten jetzt innerhalb des gleichen politischen Umfelds, das strenger produziert hatDatenfreigabe MandateEin Protokoll-First-Workflow ist keine separate Bewegung; er sitzt neben diesen Regeln und erleichtert oft die Compliance, weil Datenerhebungs- und Analyseentscheidungen bereits dokumentiert sind.
Frühkarriereforscher, Einstellungsausschüsse und eine andere Währung
Für Doktoranden und postdoctorale Forscher kann eine Grundsatzakzeptanz der Stufe 1 als Versicherungspolice gegen die Null-Ergebnis-Schublade dienen.Eine Zeitschrift hat sich bereits verpflichtet, das Endpapier zu betrachten, was bedeutet, dass die Forschungsakte nicht durch eine nicht bedeutende Erkenntnis als Geisel gehalten wird.Das ist das Argument, das Forschungsintegritätsbeamte machen, wenn sie das Format an Graduiertenschulen einführen.
Viele Rubriken zählen immer noch Zeitungsplatzierungen und Zitierungsmetriken, mit wenig formellem Guthaben für ein Registered Report-Protokoll oder eine Publikation, die sorgfältig ein Null-Ergebnis berichtet. Das schafft eine echte Strafe für die Forscher selbst, die versuchen, das System zu reformieren.
Der Druck ist nicht theoretisch. Postdoktorale Forscher haben bereits intensiveDruck der Veröffentlichung, und das Hinzufügen einer längeren Vor-Daten-Überprüfung kann riskant sein, wenn die Vorteile für einen zukünftigen Arbeitgeber unsichtbar sind. Administratoren können dies ändern, indem sie registrierte Berichte in jährlichen Überprüfungsvorlagen benennen und sie in Fakultätsaktivitätsberichten auflisten.
Was Forschungsbüros in diesem Monat tun können
Ein praktischer erster Schritt ist es, zehn Zeitschriften in den häufigsten Disziplinen der Institution zu identifizieren, die bereits registrierte Berichte anbieten und diese Liste an Forschungsgruppen im nächsten Stipendien-Support-Newsletter senden.Zentrum für offene Wissenschaft Direktoratermöglicht das Filtern schnell, und Veröffentlichungsteams behalten in der Regel die gleichen Daten lokal.
Dann wählen Sie eine Finanzierungsrunde, in der die Institution Einfluss auf den Bewerbungsprozess hat und fügen Sie eine Zeile zu den internen Überprüfungskriterien hinzu, die die Bewerter bitten, ein eingereichtes Registered Report-Protokoll oder grundsätzliche Annahme als Beweis für die Forschungsqualität zu betrachten.
Schließlich geben sie den Administratoren, die Forschungsergebnisse verwalten, einen Platz in der Konversation. sie sehen, welche Zuschussberichte stagnieren und welche Protokolle nicht überprüft werden; sie wissen auch, welche Fakultäten praktische Hilfe bei Leistungsberechnungen benötigen.Die Universitäten, die Registered Reports arbeiten, sind diejenigen, bei denen jemand im Forschungsbüro den Prozess nach Namen besitzt, einem Protokoll von Stufe 1 bis Stufe 2 folgt und dem Forscher hilft, sich zu resetieren, wenn eine Studie nicht wie geplant verläuft.
Photo by Krists Luhaers on Unsplash