Forschungsbewertungsreform jenseits von DORA: Was passiert, wenn Universitäten den Impact-Faktor von Zeitschriften nicht mehr zählen

Im Dezember 2012 traf sich eine Gruppe von Redakteuren und Forschern auf dem jährlichen Treffen der American Society for Cell Biology in San Francisco und schrieb eine Erklärung. Es hat seitdem Tausende von Unterschriften von Universitäten, Förderern, Herausgebern und professionellen Gesellschaften angezogen. Die San Francisco-Erklärung über Forschungsbewertung, bekannt als DORA, stellt eine zentrale Forderung: Beurteilen Sie einen Forscher nicht nach der Zeitschrift, in der ihre Arbeit erscheint.

Ich las zuerst DORA so, wie ich Gym-Mitgliedschaftskontrakte mit Begeisterung las, dann habe ich es bis zur Erneuerung vergessen. Das änderte sich etwa fünf Jahre später, als ich in einem Einstellungsausschuss saß, der viel zu lange verbrachte, Kandidaten nach den Titeln in ihren Lebensläufen zu sortieren.

Die Lücke zwischen der Unterzeichnung einer Verpflichtung und der Änderung einer Förderdatei ist, wo die Forschungsbewertungsreform tatsächlich gelingt oder stagniert.

Was Dora wirklich fragt

Die am häufigsten zitierte Anweisung von DORA ist eine negative: Finanzierende, Universitäten, Forschungsinstitute und die Fachgesellschaften, die viele Zeitschriften führen, sollten den Journal Impact Factor, Zitierungszahlen oder andere Zeitschriftniveau-Metriken nicht als Ersatz für das Lesen einer Kandidatenarbeit verwenden.Der Journal Impact Factor, in der Regel JIF, ist ein einfaches Durchschnitt: die Anzahl der Zitate in einem Jahr zu Artikeln, die in den vorangegangenen zwei Jahren veröffentlicht wurden, geteilt durch die Anzahl der zitierbaren Artikel.

Die Erklärung zielt auch auf Verlage und Datenanbieter ab. Sie fordert die Verlage auf, den Einflussfaktor als zentrales Qualitätszeichen zu stoppen, einzelne Artikel-Metriken verfügbar zu machen, Urheber-Namen-Identifikatoren zu unterstützen und explizit darüber zu sein, was jede Metrik zeigen kann und nicht.

DORA war immer eine Reihe von Empfehlungen, nicht eine Durchsetzungsbehörde.

Promotion-Dateien sind dort, wo Reform die Realität trifft

In 2019 veröffentlichten niederländische Universitäten, medizinische Universitätszentren und Forschungsfinanzierer "Room for Everyone's Talent", die die akademische Qualität als mehr als die Veröffentlichungsausgabe neu definieren.

Die Universität Utrecht ist in der Praxis weiter gegangen. Die Leitlinien für die Einstellung und Förderung sagen den Ausschüssen, den Einflussfaktor nicht als Abkürzung zu verwenden, und bitten die Kandidaten, ihre Beiträge in Forschung, Bildung, Teamwissenschaft und öffentliches Engagement zu beschreiben. Die Universität Gent in Belgien verwendet ein ähnliches breites Bewertungsformat. Das gemeinsame Merkmal ist, dass das Gespräch mit der Arbeit beginnt, nicht mit der Zeitschriftabdeckung.

Die vollständige Erklärung, einschließlich ihrer Empfehlungen für Förderer und Verlage, ist verfügbar untervon sfdora.orgDas Lesen dauert zwanzig Minuten, das Umschreiben einer Promotion-Rubrik dauert Jahre.

Photo by Daria Nepriakhina 🇺🇦 on Unsplash

CoARA verwandelte eine Freiwilligenbewegung in einen Zeitplan

Die wichtigste strukturelle Entwicklung kam im Juli 2022, als die European University Association, Science Europe und die Europäische Kommission das Abkommen über die Reform der Forschungsbewertung einführten.HerzenDie Unterzeichner vereinbaren, die Bewertung in erster Linie auf qualitativem Urteil zu stützen, wobei quantitative Indikatoren nur dort verwendet werden, wo sie sinnvoll sind, und die unangemessene Verwendung von journalbasierten Metriken bei der Einstellung, Beförderung, Stipendienanträgen und Zuschussbewertungen aufzugeben.

Was CoARA von DORA unterscheidet, ist, dass es mit Fristen kommt. Mitglieder werden erwartet, Aktionspläne zu veröffentlichen, institutionelle Kriterien zu überprüfen, Fortschritte zu berichten und die Pläne zu aktualisieren, wenn Beweise zeigen, dass sie nicht funktionieren.

China hat einen parallelen Schritt vom Staat gemacht, obwohl durch seine eigene Maschine.Im Jahr 2020 haben das Ministerium für Bildung und das Ministerium für Wissenschaft und Technologie den Universitäten gesagt, dass sie aufhören sollten, SCI-Papierzahlen und Zeitschriftwirkungsfaktoren als Kernkriterium für Titel, Boni, Forschungsprojektgenehmigungen und Rekrutierung zu behandeln.China’s ForschungsbewertungsreformDie Lektion aus Europa und China ist, dass Reformen beschleunigen, wenn die Geldgeber aufhören, alte Metriken zu belohnen, weil die Universitäten dem Geld schneller folgen als sie den Erklärungen folgen.

Die REF 2029 in Großbritannien gibt der Kultur eine Zahl

Der nächste Zyklus, REF 2029, ändert die Formel: Forschungsergebnisse zählen zu 50 Prozent, Auswirkungen zu 25 Prozent und der neue Block Menschen, Kultur und Umwelt zu 25 Prozent.

Die Verschiebung ist wichtig, weil sie ändert, was Abteilungsleiter in den jährlichen Überprüfungen fordern.Eine Einheit, die die Zeit für Mentoring schützt, aufzeichnet, wie sie frühe Karriereforscher unterstützt, offene Forschung als normal behandelt und Arbeitsbelastungsallokationen überprüft, kann jetzt argumentieren, dass dies Beweis ist, nicht Administrator.REF 2029 SeitenGleichzeitig haben die Regeln für die Einzahlung mit offenem Zugang ihre eigenen Anforderungen, wie AcademicJobs in einem früheren Leitfaden für dieREF 2029 Offene Einlagensicherungspolitik... .

Eine Warnung aus vergangenen Zyklen ist, dass neue Kategorien oft mit alten Beweisen gefüllt werden: Eine Abteilung kann ihre Veröffentlichungsliste einfach als "Kultur" umbenennen, ohne ihr Verhalten zu ändern.

Metriken verschwinden nicht, sie verlagern sich

Das Entfernen des Einflussfaktores hinterlässt in der Regel ein Vakuum, und Bewertungskomitees füllen Vakuum schnell. Ein Kandidat kann jetzt aufgefordert werden, Zitierungszählungen auf Artikelebene, Feld-normalisierte Zitierungsperzentile, Downloads, Medienbezeichnungen oder Social-Media-Aktien zu zitieren. Keiner von ihnen ist inhärent besser bei der Identifizierung sorgfältiger Forschung. Das Leiden-Manifest, das 2015 in Nature veröffentlicht wurde, warnte, dass quantitative Bewertung das Expertenurteil unterstützen sollte, nicht ersetzen sollte. Die zehn Prinzipien bleiben der praktischste Leitfaden für die verantwortungsvolle Verwendung von Forschungsmetriken.Die Natur... .

Narrative Lebensläufe schaffen ihre eigenen Vorurteile. Eine lange, gut bearbeitete Erzählung kann Kandidaten mit Zeit, Mutterspracheflüssigkeit und starkem Mentoring begünstigen. Kürzere strukturierte Formate, wie die Résumé für Forscher, die von UK Research and Innovation verwendet werden, versuchen, diese Lücke zu verringern, indem sie festgelegte Abschnitte anfordern: Beiträge zu Forschung, Teamwissenschaft, Lehre, Führung und der breiteren Gesellschaft. Das Format funktioniert am besten, wenn Beurteilende trainiert sind, um es zu lesen und genügend Zeit zu geben.

Für Forscher ist die praktische Implikation, dass Beweise jetzt wichtiger sind als Adjektive. “Ich bin ein hoch kollaborativer Wissenschaftler” sagt nichts. “Ich koordinierte eine sechsinstitutionelle Kohortenstudie und schrieb die Daten-Sharing-Vereinbarung, die von allen Websites verwendet wird” sagt ziemlich viel.

Photo by Clayton Robbins on Unsplash

Niemand sagt Ihnen das über die Anwendung nach den neuen Regeln

Die meisten Forscher werden das reformierte Bewertungssystem durch ein Dokument erfüllen: die Förderung oder Stipendienantrag. Sie können sich darauf vorbereiten, ohne darauf zu warten, dass Ihre Universität eine neue Richtlinie veröffentlicht. Beginnen Sie, indem Sie Beweise in den Kategorien sammeln, über die die Ausschüsse jetzt fragen: Forschungsergebnisse, die Sie in einfacher Sprache erklären können, Beiträge zu Lehre und Aufsicht, Service-Rollen, die einen Prozess veränderten, offene Forschungspraktiken und Kollaborationen, in denen Sie die unglückliche Koordinationsarbeit getan haben.

Ein dauerhafter Identifier hilft. ORCID verbindet Ihre Arbeiten, Zuschüsse, Peer-Review-Aktivitäten und Beschäftigungsverlauf, damit Bewerter finden können, was Sie tatsächlich getan haben, anstatt was eine Suchmaschine abruft.Peer Review und redaktionelle WorkflowsDie Registrierung und Aufrechterhaltung eines ORCID-Profils ist eine billige Versicherung gegen eine unvollständige Veröffentlichungsliste.

Wenn Sie eine Bewerbung schreiben, zeigen Sie die Beziehung zwischen Ihrer Rolle und der Ausgabe.Für jedes wichtige Werkstück angeben, ob Sie die Studie entworfen, die Daten verwaltet, sichergestellt ethische Genehmigung, das Manuskript geschrieben, oder führte das Team.Wenn ein Ausschuss weigert sich, über den Namen der Zeitschrift zu lesen, das ist ein Signal über die Institution, nicht eine Reflexion auf Ihre Bewerbung.

Ich habe einmal meinen Namen zu einem verantwortungsvollen Forschungsbewertungsversprechen hinzugefügt und dann, zwei Wochen später, wurde ich gebeten, meinen h-Index für eine interne Überprüfung einzureichen. Dies ist kein Argument gegen das Versprechen. Es ist eine Beschreibung der Lücke, die zählt: Erklärungen ändern Sprache, sondern nur Einstellungsgruppen, Finanzierungsräte und die jährlichen Überprüfungsformulare, die Abteilungsleiter tatsächlich ändern Verhalten.

Der nächste Test für die Forschungsbewertungsreform wird sein, ob Job-Anzeigen aufhören, Top-Level-Zeitschriften als erste Anforderung zu beschreiben. Einige haben aufgehört. Andere tragen immer noch die alte Linie, während sie ein DORA-Badge an anderer Stelle auf der gleichen Seite anzeigen, eine Kombination, die ich als Fitnessstudio-Mitgliedschaft an einem Kühlschrank gelesen habe.