Academic Jobs - Home of Higher Ed Logo

Une nouvelle revue sans métriques veut rompre avec la dépendance au facteur d'impact

Poster une histoire
12vues
Native advertising — guest articles from $400See packages
Medium.com website displayed on a screen
Photo by Zulfugar Karimov on Unsplash

Les universitaires ont un rituel quand un journal tombe hors de la course des facteurs d'impact. Ils applaudissent, signent une déclaration, puis demandent à un comité de recherche quel est l'indice h du candidat. Un nouveau journal sans mesures annoncé ce printemps teste si ce rituel peut survivre au contact avec le fichier d'embauche universitaire. Le journal ne poursuivra pas un facteur d'impact, et il n'annoncera pas un CiteScore. Il ne promettra pas aux auteurs un nombre du tout. C'est une décision d'édition visant à un problème beaucoup plus ancien: l'évaluation de la recherche qui embrasse toujours un ratio de trente-cinq ans dans chaque cas de tenue.

Le Journal of Trial and Error a fait une promesse similaire lorsqu'il a été lancé en 2021. Il publie des résultats négatifs, des échecs de réplication, des résultats morts méthodologiques et des articles dont la principale conclusion est que l'étude originale n'a pas duré. Octopus, une plate-forme d'édition financée par la recherche et l'innovation au Royaume-Uni et lancée en 2022, va plus loin: il publie des résultats de recherche individuels plutôt que des questions de journaux, de sorte que les mesures au niveau du journal n'ont plus de sens. eLife, une revue biomédicale bien connue, a cessé de prendre des décisions d'acceptation ou de rejet en 2023 et a commencé à publier des préfixes d'examen

Le facteur d'impact lui-même est un moyen simple. Eugene Garfield l'a introduit dans les années 1950 pour aider les bibliothécaires à décider à quelles revues s'abonner. Le facteur d'impact d'une revue de 2024 compte les citations en 2024 aux articles publiés en 2022 et 2023, divisé par le nombre d'articles citables dans ces deux années. Ce nombre ne dit rien sur un papier individuel, mais il est utilisé pour classer les candidats, allouer des fonds et, dans certains pays, fixer des bonus de salaire. Les articles de revue tirent la moyenne vers le haut; les taux de citation spécifiques au domaine le tirent de côté.

La déviation n'est pas subtile. Les champs en mouvement rapide citent dans les deux ans. Les mathématiques et la philosophie peuvent prendre une décennie. Un journal de révision peut publier un facteur de 20 sans publier un seul nouveau résultat expérimental, tandis qu'un papier de génétique accumule des citations en mois. Garfield lui-même a mis en garde contre l'utilisation du ratio pour évaluer les gens.

Le mécontentement est assez vieux pour avoir ses propres documents historiques. DORA a été écrit en 2012 par un groupe d'éditeurs, d'éditeurs et de chercheurs qui étaient frustrés que l'outil d'un bibliothécaire soit devenu un critère de tenue. Le Manifeste de Leiden a ajouté dix principes en 2015, y compris l'instruction de lire la recherche plutôt que le nom de la revue.

Voici la capture: les comités de recrutement veulent toujours un nombre

Metrics-free ne modifie le système que si les comités de recrutement et de promotion cessent de demander le numéro.Déclaration sur l'évaluation de la rechercheLe texte, connu sous le nom de DORA, a fait cet argument depuis 2012. ses signataires comprennent les universités, les bailleurs de fonds, les éditeurs et les sociétés apprises, et le texte demande aux institutions de cesser d'utiliser des mesures basées sur des revues comme un substitut à la qualité de la recherche individuelle.Coalition pour l'avancement de l'évaluation de la recherche, ou CoARA, lancé en 2022 et rassemble désormais des centaines d'organisations de recherche à travers l'Europe et au-delà.Les deux sont de véritables changements de politique.Mais une déclaration signée ne réécrit pas les onze minutes que les membres du comité consacrent à chaque demande.

Des comités sous pression temporelle atteignent le raccourci. Un nombre arrive précalculé, semble objectif et permet à un panel de se déplacer. Les mesures au niveau du journal sont intégrées dans les systèmes d'évaluation nationaux.Le ministère chinois de l'Éducation et le ministère de la Science et de la Technologie ont déjà ordonné aux universités de réduire le rôle du facteur d'impact, commeAcadémieCertains comités d'embauche en Europe ont adopté des CV narratifs, mais l'adoption est inégale. le cadre TRIPLE de l'Université d'Utrecht demande aux comités d'évaluer la qualité de la recherche, la science de l'équipe, la science ouverte et la performance professionnelle plutôt qu'un nom de journal, mais peu d'institutions l'ont complètement copié.

Les administrateurs font face à leur propre contre-pression. Les tables de la ligue mondiale récompensent les citations et les revenus de recherche, qui tirent tranquillement les universités vers n'importe quelle mesure est la plus rapide à compter. Un département peut signer DORA et toujours énumérer les facteurs d'impact de la revue dans son rapport annuel parce que le bureau central de planification les demande.

L'écart pratique vit dans la rubrique. Certains bureaux de ressources humaines de l'université écrivent maintenant des formulaires d'examen qui séparent la qualité de l'examen par les pairs du lieu de publication. Un réviseur peut être invité à noter l'originalité, l'adéquation méthodologique, la clarté des preuves et la faisabilité. Cela semble simple. Ce n'est pas simple dans la pratique. Il nécessite aux membres du comité de lire au moins une sortie complète, de la comparer aux conventions d'un domaine et de documenter le raisonnement suffisamment bien pour survivre à un appel. Lorsque quarante fichiers arrivent en une semaine, la rubrique devient un exercice d'étiquetage de boîte à moins que quelqu'un ne

Le hype et la réalité sont faciles à séparer ici.

  • Le hype :Un journal sans facteur d’impact élimine la pression métrique des auteurs.
  • La réalité :CiteScore, Source Normalized Impact per Paper, les classements Google Scholar et Eigenfactor remplissent rapidement le fossé.
  • Le hype :Les comités de recrutement vont lire les papiers.
  • La réalité :Lire un document avec soin prend du temps, et quarante applications ne le font pas.

Le côté éditeur a sa propre contradiction. Un journal peut refuser de poursuivre le facteur d'impact et toujours bénéficier des mesures de citation sur Scopus ou Google Scholar. Une étiquette sans mesures peut devenir un point de marketing sans changer la façon dont les fichiers promotionnels sont lus.Le débat sur l’indexations'applique ici: apparaître dans une base de données n'est pas la même chose que d'être jugé de manière indépendante.L'avril 2026 Web of Science d'élistement de l'examen a mis cette question de nouveau sur la table, commeAcademicJobs couvertLe .

La décision du nouveau journal n'est pas triviale.Il supprime un numéro que les éditeurs, les critiques, les auteurs et les administrateurs qui lisent les fichiers promotionnels ne peuvent plus utiliser comme proxy.L’affaire ELifea montré ce qui se passe quand un journal majeur sort du système: Clarivate l'a supprimé, et les auteurs ont été laissés pour expliquer ce qu'une préimpression révisée signifie à un comité qui voulait un numéro.

La métrique a également une histoire différente dans différentes disciplines. Dans la biomédecine, une délistation est un risque professionnel parce que les réviseurs de subventions connaissent les noms des revues. Dans les sciences humaines, où les monographies et les volumes édités prédominent, le facteur d'impact des revues a toujours été une plus mauvaise adaptation, ce qui est une raison pour laquelle les expériences sans métrique commencent parfois en dehors des sciences de la vie. Mais le risque diffère par domaine, et une politique qui fonctionne pour un journal linguistique ne peut pas être transférée à un département d'oncologie.

Certains financiers de la recherche tentent de baisser ce prix.OctopusPeer Community In a recommandé des milliers de prédictions à travers la biologie et l'écologie sans titre de journal, comme sonLes listes publiquesLes signataires de CoARA sont censés traduire leurs engagements en lignes directrices de promotion. Le problème est que les horloges de tenue ne s'arrêtent pas tandis que la culture d'évaluation s'accroît. Un postdoc qui s'applique cette année fait encore face à des panneaux qui sont plus confortables pour les revues de classement que pour lire les préfixes.

Les dirigeants universitaires qui signent DORA mais laissent les critères de promotion intacts font une promesse qu’ils ne peuvent pas tenir. Le comité lisera le formulaire de demande, pas la déclaration. Si le formulaire demande toujours un facteur d’impact du journal, un candidat qui ne liste aucun ne proteste pas; ils font une lacune dans le fichier. Le nouveau journal sans mesures ne peut pas combler cette lacune jusqu’à ce que le formulaire change.

Stephen Curry, un biologiste structurel de l'Imperial College London et un critique de longue date des facteurs d'impact, a mis l'affaire de manière stable: la mesure a été conçue pour les bibliothécaires, pas pour juger les scientifiques. Il n'a jamais supporté le poids que les institutions mettent sur elle. Si un nouveau journal sans mesures oblige les comités d'embauche à lire le travail réel, le lancement est important.

green and white typewriter on brown wooden table

Photo by Markus Winkler on Unsplash

Portrait de Dr. Oliver Fenton
A propos de l'auteur

Dr. Oliver FentonVoir auteur

Academic Jobs In House Author

Les reconnaissances :

Discussions

Sort par :

Soyez le premier à commenter cet article !

vous

Vous serez invité à vous connecter avant de publier votre commentaire.

Nouvelle0 comments

Rejoignez la conversation !

Ajoutez vos commentaires dès maintenant !

Avoir votre mot

Niveau d’engagement

Browse par faculté

Browse par sujet

Frequently Asked Questions

📄Qu'est-ce qu'un journal sans métriques ?

Une revue sans métriques est une publication universitaire qui refuse délibérément de signaler ou de promouvoir un facteur d'impact de la revue. Les rédacteurs en chef peuvent encore utiliser les données de citation à l'interne, mais ils refusent de transformer ce nombre en argument de vente. Des exemples incluent le Journal of Trial and Error, Peer Community In et Octopus.

📉Pourquoi certains chercheurs se méfient-ils du facteur d'impact ?

Le facteur d'impact a été conçu pour aider les bibliothécaires à choisir les abonnements aux revues, et non pour juger les articles individuels. Une moyenne au niveau de la revue peut être faussée par les articles de synthèse, l'auto-citation et les différences entre les domaines. C'est pourquoi la Déclaration d'évaluation de la recherche a demandé aux institutions de cesser de l'utiliser comme substitut à la qualité de la recherche depuis 2012.

🧮Comment est calculé le facteur d'impact ?

Clarivate calcule le facteur d'impact d'une revue en divisant le nombre de citations en une année donnée pour des articles publiés au cours des deux années précédentes par le nombre d'articles citables publiés au cours de ces deux années. Pour la figure 2024, cela signifie les citations de 2022 et 2023 divisées par la production citable de 2022 et 2023.

📜Qu'est-ce que la DORA, et quelle est sa demande ?

La Déclaration sur l'évaluation de la recherche, lancée en 2012, demande aux financeurs, aux institutions, aux éditeurs et aux chercheurs de cesser d'utiliser les métriques basées sur les revues comme substitut à la lecture de la recherche. Ses signataires incluent des universités, des financeurs, des éditeurs et des sociétés savantes du monde entier.

🤝Qu'est-ce que CoARA ?

La Coalition pour l'avancement de l'évaluation de la recherche, lancée en 2022, est un accord entre les organisations de recherche pour réformer la façon dont elles évaluent la recherche, les chercheurs et les équipes. Elle encourage des critères d'évaluation plus larges et une moindre dépendance à l'égard des facteurs d'impact des revues.

🧬Pourquoi eLife a-t-il perdu son facteur d'impact ?

Après que eLife a cessé de prendre des décisions d'acceptation ou de rejet en 2023 et a commencé à publier des préimpressions évaluées, Clarivate a supprimé la revue de Web of Science en 2024. Sans indexation dans Web of Science, eLife n'a plus de facteur d'impact de revue.

🔍Une revue sans métriques peut-elle encore être indexée ?

Oui. Une revue peut être indexée dans des bases de données telles que Scopus ou Google Scholar même si elle ne poursuit pas un facteur d'impact. L'indexation est un processus distinct, et les bases de données peuvent toujours calculer des métriques basées sur les citations, telles que le CiteScore.

🏛️Les universités utilisent-elles vraiment le facteur d'impact dans le recrutement ?

Certains départements demandent toujours les facteurs d'impact des revues dans les candidatures, les évaluations annuelles et les dossiers de promotion. D'autres ont adopté des CV narratifs ou des cadres tels que TRIPLE de l'Université d'Utrecht, mais les pratiques restent inégales entre les établissements et les pays.

🐙Qu'est-ce qu'Octopus ?

Octopus est une plateforme d'édition financée par UK Research and Innovation qui publie des résultats de recherche individuels, tels que des hypothèses, des méthodes, des données et des analyses, plutôt que des articles de revue complets. Elle est conçue pour supprimer les métriques au niveau de la revue du processus de publication.

📋Quelles sont les alternatives au facteur d'impact dans l'évaluation des enseignants-chercheurs ?

Les alternatives incluent les CV narratifs, les formulaires de réviseurs structurés, l'analyse du contexte des citations, les rapports d'examen par les pairs ouverts et les cadres d'évaluation qui valorisent le partage de données, les méthodes et l'intégrité de la recherche. CoARA et DORA fournissent des lignes directrices, mais l'adoption est progressive.

🇨🇳Comment la Chine a-t-elle répondu à la pression du facteur d'impact ?

Le ministère chinois de l'Éducation et le ministère des Sciences et de la Technologie ont ordonné aux universités de réduire le rôle des métriques d'impact dans l'évaluation de la recherche. Cette réforme s'inscrit dans une démarche plus large visant à équilibrer la quantité de publications avec la qualité de la recherche.

🎓Que doivent faire les jeunes chercheurs sous les CV narratifs ?

Les jeunes chercheurs peuvent décrire des productions sélectionnées en langage clair, expliquer leur propre contribution et inclure des preuves de science ouverte et de collaboration. L'objectif est de fournir aux comités un matériel lisible plutôt qu'un nom de revue à compter.