Réforme de l'évaluation de la recherche au-delà de DORA : Que se passe-t-il après que les universités arrêtent de compter les facteurs d'impact des re

En décembre 2012, un groupe d'éditeurs et de chercheurs se sont réunis à la réunion annuelle de l'American Society for Cell Biology à San Francisco et ont écrit une déclaration. Il a depuis attiré des milliers de signatures d'universités, de bailleurs de fonds, d'éditeurs et de sociétés professionnelles. La Déclaration de San Francisco sur l'évaluation de la recherche, connue sous le nom de DORA, fait une demande centrale: ne jugez pas un chercheur par le journal dans lequel leur travail apparaît.

J'ai d'abord lu DORA comme je lisais les contrats d'adhésion au gymnase avec enthousiasme, puis j'en ai oublié jusqu'au renouvellement. Cela a changé environ cinq ans plus tard, lorsque je me suis assis dans un comité de recrutement qui a passé trop de temps à trier les candidats par les titres sur leurs CV. Je ne suis pas fier de cela.

L’écart entre la signature d’un engagement et le changement d’un dossier de promotion est là où la réforme de l’évaluation de la recherche réussit ou s’arrête.

Ce que Dora demande réellement

L’instruction la plus citée de DORA est négative : les financiers, les universités, les instituts de recherche et les sociétés professionnelles qui gèrent de nombreuses revues ne devraient pas utiliser le facteur d’impact du journal, le nombre de citations ou toute autre mesure au niveau du journal comme substitut à la lecture de l’œuvre d’un candidat. Le facteur d’impact du journal, généralement JIF, est une moyenne simple : le nombre de citations en une année à des articles publiés au cours des deux années précédentes, divisé par le nombre d’articles citables.

La déclaration vise également les éditeurs et les fournisseurs de données. elle demande aux éditeurs d'arrêter de commercialiser le facteur d'impact comme le badge central de la qualité, de mettre à disposition des mesures d'article individuelles, de soutenir les identifiants de nom d'auteur et d'être explicites sur ce que toute mesure peut et ne peut pas montrer. elle demande aux financiers d'écrire des critères d'évaluation qui disent explicitement ce qui compte comme bonne science, pas seulement où elle a été publiée.

DORA a toujours été un ensemble de recommandations, pas un organisme d’application. C’est précisément le problème que la prochaine vague de réformes a essayé de résoudre.

Les dossiers promotionnels sont là où la réforme rencontre la réalité

En 2019, les universités néerlandaises, les centres médicaux universitaires et les financiers de recherche ont publié «Room for everyone’s talent», qui réaffirme la qualité académique comme plus que la production de publication.Ce programme, maintenant appelé Recognition and Rewards, pousse les départements à évaluer la recherche, l’enseignement, l’impact social, le leadership et les soins aux patients ensemble, et à construire des parcours de carrière séparés pour les personnes qui excellent dans différentes combinaisons de ces tâches.

L'Université d'Utrecht est allée plus loin dans la pratique. Son guide de recrutement et de promotion dit aux comités de ne pas utiliser le facteur d'impact comme un raccourci et demande aux candidats de décrire leurs contributions à travers la recherche, l'éducation, la science de l'équipe et l'engagement du public. L'Université de Gand en Belgique utilise un format d'évaluation similaire et large. La caractéristique commune est que la conversation commence avec le travail, pas la couverture du journal.

La déclaration complète, y compris ses recommandations pour les bailleurs de fonds et les éditeurs, est disponible à l'adresse suivante :par sfdora.orgLa lecture prend vingt minutes ; la réécriture d’une rubrique promotionnelle prend des années.

Photo by Daria Nepriakhina 🇺🇦 on Unsplash

CoARA a transformé un mouvement de bénévoles en un calendrier

Le développement structurel le plus important est arrivé en juillet 2022, lorsque l'Association européenne des universités, Science Europe et la Commission européenne ont lancé l'accord sur la réforme de l'évaluation de la recherche.CouleurLes signataires conviennent de baser l'évaluation principalement sur un jugement qualitatif, avec des indicateurs quantitatifs utilisés uniquement là où cela est significatif, et d'abandonner l'utilisation inappropriée de mesures basées sur des journaux dans le recrutement, la promotion, les demandes de bourses d'études et les évaluations de subventions.

Ce qui rend CoARA différent de DORA est qu'il est livré avec des délais. Les membres sont censés publier des plans d'action, examiner les critères institutionnels, faire rapport sur les progrès, et mettre à jour les plans lorsque les preuves montrent qu'ils ne fonctionnent pas.

En 2020, le ministère de l’Éducation et le ministère de la Science et de la Technologie ont demandé aux universités de cesser de traiter les facteurs d’impact de la SCI et de la revue comme le critère principal pour les titres, les bonus, les approbations de projets de recherche et le recrutement.La réforme de l’évaluation de la recherche en Chine’La leçon de l’Europe et de la Chine est que les réformes s’accélèrent lorsque les bailleurs de fonds cessent de récompenser les vieilles mesures, parce que les universités suivent l’argent plus rapidement qu’elles ne suivent les déclarations.

Le REF 2029 du Royaume-Uni donne à la culture un numéro

Le prochain cycle, REF 2029, change la formule: les résultats de recherche comptent pour 50 pour cent, l’impact pour 25 pour cent, et le nouveau bloc People, Culture et Environnement pour 25 pour cent. Ce troisième bloc fait de la culture de la recherche, du développement du personnel, de la collégialité et des systèmes de récompense équitables une partie du score formel, pas une ambition vague.

Le changement est important parce qu'il change ce que les chefs de département demandent dans les évaluations annuelles. Une unité qui protège le temps pour le mentorat, enregistre comment elle soutient les chercheurs de carrière précoce, traite la recherche ouverte comme normale et examine les allocations de charge de travail peut maintenant affirmer que c'est la preuve, pas l'administrateur.REF 2029 pagesDans le même temps, les règles de dépôt d'accès ouvert ont leurs propres exigences, comme l'a expliqué AcademicJobs dans un précédent guide à laREF 2029 Politique de dépôt d'accès ouvertLe .

Une des précautions des cycles passés est que de nouvelles catégories sont souvent remplies d’anciennes preuves : un département peut simplement réécrire sa liste de publications comme « culture » sans changer de comportement.

Les métriques ne disparaissent pas, elles se déplacent

L'élimination du facteur d'impact laisse généralement un vide, et les comités d'évaluation remplissent rapidement les vacuums. Un candidat peut maintenant être invité à obtenir des comptes de citation au niveau de l'article, des percentiles de citation normalisés sur le terrain, des chiffres de téléchargement, des mentions de médias ou des partages de médias sociaux. Aucun d'entre eux n'est inhérentement meilleur dans l'identification de la recherche minutieuse. Le Manifeste de Leiden, publié dans Nature en 2015, a averti que l'évaluation quantitative devrait soutenir, et non remplacer, le jugement d'experts. Les dix principes restent le guide le plus pratique pour utiliser les mesures de recherche de manière responsable; le texte complet est disponible ànatureLe .

Les CV narratifs créent leurs propres préjugés. Un récit long et bien édité peut favoriser les candidats avec du temps, la fluidité de la langue maternelle et un mentorat fort. Des formats structurés plus courts, tels que le Résumé pour les chercheurs utilisés par la recherche et l'innovation au Royaume-Uni, essayent de réduire ce fossé en demandant des sections fixes: contributions à la recherche, à la science de l'équipe, à l'enseignement, au leadership et à la société en général. Le format fonctionne le mieux lorsque les évaluateurs sont formés pour le lire et leur donner suffisamment de temps. Sans cela, un CV narratif devient un autre document pour esquimer les mots clés.

Pour les chercheurs, l'implication pratique est que les preuves comptent maintenant plus que les adjectifs. “Je suis un scientifique hautement collaboratif” ne dit rien. “J'ai coordonné une étude de cohorte de six institutions et j'ai écrit l'accord de partage de données utilisé par tous les sites” dit beaucoup.

Photo by Clayton Robbins on Unsplash

Personne ne vous dit ceci sur l'application des nouvelles règles

La plupart des chercheurs rencontreront le système d'évaluation réformé à travers un seul document: la promotion ou la demande de bourses d'études. Vous pouvez vous y préparer sans attendre que votre université publie une nouvelle politique. Commencez par recueillir des preuves dans les catégories que les comités ont maintenant tendance à demander: les résultats de la recherche que vous pouvez expliquer en langage clair, les contributions à l'enseignement et à la supervision, les rôles de service qui ont changé un processus, les pratiques de recherche ouvertes et les collaborations où vous avez fait le travail de coordination incroyable.

Un identifiant persistant aide. ORCID relie vos travaux, les subventions, l'activité d'évaluation par les pairs et l'historique de l'emploi afin que les évaluateurs puissent trouver ce que vous avez réellement fait, plutôt que ce qu'un moteur de recherche trouve.Évaluation par les pairs et flux de travail éditorialL'enregistrement et le maintien d'un profil ORCID actuel est une assurance bon marché contre être jugé sur une liste de publication incomplète.

Lorsque vous écrivez une demande, montrer la relation entre votre rôle et le résultat. Pour chaque travail majeur, spécifiez si vous avez conçu l'étude, géré les données, assuré l'approbation éthique, écrit le manuscrit, ou a dirigé l'équipe. Si un comité refuse de lire au-delà du nom du journal, c'est un signal sur l'institution, pas une réflexion sur votre demande.

J'ai ajouté une fois mon nom à un engagement d'évaluation de la recherche responsable et puis, deux semaines plus tard, on m'a demandé de soumettre mon h-index pour un examen interne.Ce n'est pas un argument contre l'engagement.Il s'agit d'une description de l'écart qui importe: les déclarations changent de langue, mais seulement les panels d'embauche, les conseils de financement et les formulaires d'examen annuel que les chefs de département complètent effectivement le comportement du changement.

Le prochain test pour la réforme de l'évaluation de la recherche sera de savoir si les annonces d'emploi cesseront de décrire les revues de haut niveau comme première exigence. Certains ont cessé. d'autres portent toujours l'ancienne ligne tout en affichant un badge DORA ailleurs sur le même site, une combinaison que j'ai commencé à lire comme une adhésion au gymnase attachée à un réfrigérateur.