Solange die Forschungsbewertung von Listen abhängt, haben Wissenschaftler, Bibliothekare und Administratoren davon ausgegangen, dass die Anwesenheit eines Titels in einer selektiven Datenbank bedeutet, dass die Zeitschrift selbst einen Qualitätstest bestanden hat.

Der Irrtum hat praktische Kosten. Autoren wählen einen Ort, weil er als indexiert aufgeführt ist, ohne zu fragen, welchen Index und was dieser Index untersucht wurde. Leser behandeln ein Papier in einer vertrauenswürdigen Datenbank als validiert. Forschungsmanager zählen das Papier als eine abgeschlossene Einheit der Qualität. Bibliothekare fügen den Titel zu einer abonnierten Liste auf der gleichen Annahme hinzu, und Sponsoren verwenden manchmal die Klassifizierung als Eignungsgrenze.

Ein nützlicher Weg, um die Unterscheidung zu sehen, ist zu beobachten, was passiert, wenn ein Index seine eigene Liste korrigiert. Im März 2023 entfernte Clarivate 82 Zeitschriften aus der Web of Science Core Collection nach einer Neubewertung, die meisten davon, weil sie die Qualitätskriterien nicht mehr erfüllten. Die Entfernung bedeutete nicht, dass jedes Papier in diesen Zeitschriften schwach war. Sie bedeuteten, dass die Zulassungsentscheidung bedingt, überwacht und reversibel ist. Das ist das Verhalten eines Screening-Mechanismus, nicht ein dauerhaftes Siegel.

Was ein Index tatsächlich überprüft – und was es nicht tut

Scopus, Web of Science, DOAJ und viele disziplinspezifische Datenbanken fungieren als kuratierte Titellisten. Eine Zeitschrift wendet sich an, übermittelt Dokumentation und wartet auf eine Überprüfung ihrer Redaktion, Peer-Review-Richtlinien, Veröffentlichungsregelmäßigkeit, Ethik-Erklärungen und technische Standards. Scopus führt Anwendungen durch ihre Content Selection und Advisory Board. Web of Science wendet vor jeder Zitierung-Impact-Analyse eine veröffentlichte Reihe von Qualitätskriterien an. DOAJ erfordert, dass eine Zeitschrift ihre Redakteure identifiziert, ihren Überprüfungsprozess beschreibt, ihre Open-Access-Lizenzierung angibt und Standards für redaktionelle Transparenz erfüllt. Ein einzel

Das ist die zentrale Verwirrung.Indexierer inspizieren den Behälter, nicht den Inhalt.Eine Zeitschrift mit einem legitimen Brett und einem angegebenen doppelblinden Überprüfungsprozess kann immer noch eine Studie mit schwacher Methodik, nicht angegebenen Konflikten, selektiver Berichterstattung oder Ergebnissen akzeptieren, die nicht repliziert werden.Indexierung bestätigt, dass die Zeitschrift einen Prozess hat; sie kann nicht bestätigen, dass der Prozess in einem bestimmten Fall ordnungsgemäß verfolgt wurde.

Ein Beispiel aus der Medizin macht die Unterscheidung konkret. PubMed enthält Zitate von MEDLINE, dem selektiven Index der National Library of Medicine, aber es enthält auch Aufzeichnungen von PubMed Central und anderen Einlagensicherungen. Ein Papier in PubMed ist nicht automatisch ein MEDLINE-indiziertes Papier, und in PubMed aufgeführt zu sein bedeutet nicht, dass die klinischen Schlussfolgerungen der Studie überprüft wurden.National Library of Medicine erklärt diese Unterschiede im DetailWissen, welche Aufzeichnung Sie ansehen, ändert, was die Auflistung beweisen kann.

Warum die stärksten Indizes immer noch zählen

Nichts davon macht die Indexierung wertlos. Ein selektiver Index filtert eine große Masse von Titeln ohne offensichtliche redaktionelle Überwachung aus. Für einen Leser, der mit einer unbekannten Zeitschrift konfrontiert ist, ist ein Scopus- oder DOAJ-Eintrag Beweis dafür, dass jemand außerhalb des Herausgebers seine formale Struktur überprüft hat. Bibliothekare verwenden diese Listen, um Budgets zuzuweisen. Autoren verwenden sie, um Orte zu vermeiden, die nach einer Ausgabe verschwinden könnten. Leser verwenden sie, um Metadaten, Zitate, Abstrakte und Volltextlinks zu lokalisieren.

In Teilen Lateinamerikas haben SciELO und Latindex eine ähnliche Screening-Rolle für regionale Zeitschriften ausgeführt, die die kommerziellen Indizes lange Zeit ignoriert haben.DOAJ AnwendungsleitfadenEs folgt jedoch nicht, dass eine DOAJ-Liste Ihnen nichts sagt; es sagt Ihnen, dass die Zeitschrift eine Ausgangslinie getroffen hat, die viele Titel nicht haben.

Die Grenzen von zitierten Indikatoren

Sobald eine Zeitschrift Web of Science oder Scopus betritt, wird sie für Zitierungsmetriken berechtigt. Der Impact Factor und CiteScore sind Zeitschrift-Ebene Durchschnitte der Zitate, die über einen definierten Zeitraum erhalten wurden. Sie wurden als Sammlungsmanagement- und Zitierungsmuster-Tools konzipiert, nicht als Urteile auf einem bestimmten Artikel. Eine einzelne hochzitierte Überprüfung kann die Metrik einer Zeitschrift erhöhen, während viele andere Artikel im gleichen Titel wenig Aufmerksamkeit auf sich ziehen, und Zitierungsnormen unterscheiden sich enorm zwischen Physik und mittelalterlicher Geschichte.

Die San Francisco-Erklärung über die Forschungsbewertung, bekannt als DORA und veröffentlicht im Jahr 2012, sammelt die Einwände gegen die Verwendung von Zeitschriftniveau-Metriken als Proxy für die individuelle Forschungsqualität. DORA sagt nicht, dass Zitierungsdaten sinnlos sind.Die Erklärung ist weiterhin lesenswertWeil es unterscheidet, was eine Metrik ausmacht, von dem, was ein Förderkomitee es bedeuten will.

Was die Abwesenheit aus einem Index nicht beweist

Genau wie Einbeziehung kein Qualitätsurteil ist, ist Abwesenheit kein Beweis für Misserfolg. Eine neue Zeitschrift kann mehrere Fragen benötigen, bevor Scopus oder Web of Science sie in Betracht ziehen. Eine kleine wissenschaftliche Gesellschaft kann die administrative Kapazität fehlen, um eine Anwendung abzuschließen. Eine Zeitschrift in einer regionalen Sprache kann gut geführt werden und eine starke Peer-Review haben, während sie nur in einem lokalen Verzeichnis wie Latindex, Redalyc oder einer von INASP unterstützten Plattform erscheint.

Die umgekehrte Verwirrung ist im offenen Zugang üblich. Ein Titel kann anzeigen, dass er in Google Scholar aufgeführt ist oder in einem Verzeichnis ohne öffentliche Auswahlkriterien enthalten ist. Google Scholar scraps einen großen Teil des Web; Inklusion ist ein Akt der Ernte, keine Qualitätsprüfung.Think Check Einreichung Initiativeschlägt vor, dass Autoren die Behauptungen einer Zeitschrift über die eigene Liste der Datenbank und nicht über die Website der Zeitschrift überprüfen.Eine Behauptung, die im Verzeichnis nicht bestätigt werden kann, ist ein Warnsignal, was auch immer die Landing Page des Herausgebers sagt.

Wie man die Indexierungsansprüche einer Zeitschrift liest

Wenn eine Zeitschrift sagt, dass sie indexiert ist, ist die nützliche Antwort, vier Fragen zu stellen: Welcher Index, wer wählt dafür, ist der Listenstrom und was genau hat der Selektor überprüft?

• Fragen Sie nach der genauen Datenbank. Scopus, Web of Science Core Collection, MEDLINE und DOAJ haben öffentliche Kriterien und aktive Überprüfung.
• Überprüfen Sie die Datenbank direkt.Wenn eine Zeitschrift Scopus-Inklusion behauptet, suchen Sie Scopus.Wenn sie DOAJ-Inklusion behauptet, bestätigen Sie dies im DOAJ-Verzeichnis.Die eigene Website der Zeitschrift ist die am wenigsten zuverlässige Quelle für Informationen über ihren Status.
• Ein unabhängiger Redaktionsausschuss, benannte Mitglieder mit verifizierbaren Affiliationen, ein angegebenes Peer-Review-Modell, ein klares Veröffentlichungsplan und ein Verlag mit einer Rücktrittsrichtlinie sind informativer als eine lange Reihe von Indexlogos.
• Suchen Sie nach Rücknahmen, Äußerungen der Besorgnis und redaktionellen Informationen über die Zeitschrift. Ein Titel, der aus einem großen Index gelöscht wurde, kann den gelöschten Status auf älteren Werbematerial auflisten.

Diese Überprüfungen dauern Minuten, nicht Stunden. sie ersetzen keine Fachkenntnisse, aber sie verhindern den häufigsten Fehler: eine administrative Klassifizierung als wissenschaftliche Schlussfolgerung zu behandeln.

Die institutionelle Gewohnheit, die die Missverständnisse am Leben hält

Forschungssysteme in mehreren Ländern fügen Gehaltserhöhungen, Förderfähigkeit, nationale Akkreditierung oder Forschungsfinanzierungsfähigkeit zur Veröffentlichung in Zeitschriften hinzu, die in einer oder zwei benannten Datenbanken aufgeführt sind. Die Absicht besteht darin, eine vergleichbare, skalierbare Maßnahme zu schaffen.

Das ist kein Argument gegen die Verwendung von Indizes bei der Bewertung. Es ist ein Argument dafür, sich daran zu erinnern, was der Index überprüft hat. Eine Richtlinie, die jeden indexierten Artikel automatisch wie jeden anderen indexierten Artikel behandelt, hat das Urteil durch eine administrative Abkürzung ersetzt. Die Abkürzung ist manchmal verteidbar; es ist selten präzise. Die Herausforderung besteht darin, Bewertungssysteme zu entwerfen, die Indexierung als ein Beweisstück unter mehreren verwenden, anstatt als der gesamte Fall.

Wenn ein wichtiger Index zugibt, dass er regelmäßig Titel entfernen muss, erkennt er die Grenzen der Gewährleistung an, die die Benutzer bereitstellen wollen. Die offene Frage ist, ob Universitäten, Geldgeber, Forscher und Publisher Bewertungssysteme aufbauen werden, die diese Ehrlichkeit teilen, oder ob sie die Liste weiterhin als Urteil behandeln werden.

Photo by Nubelson Fernandes on Unsplash