"Pourquoi nos meilleurs chercheurs seraient-ils d'accord pour que leur plan d'analyse soit examiné par les pairs avant d'avoir vu les données?"C'était la question que m'a posée un vice-chancelier britannique pour la recherche le mois dernier alors que son établissement discutait de la reconnaissance des rapports enregistrés dans les critères de promotion.
Les rapports enregistrés sont un format de publication qui renverse la séquence habituelle. Un auteur soumet un manuscrit de phase 1 contenant l'introduction, la méthode, les analyses proposées et une analyse de puissance détaillée avant de recueillir des données. Les critiques évaluent la question de recherche et la conception de l'étude alors qu'ils peuvent encore changer quelque chose. Si le plan passe, la revue accorde une acceptation en principe, un engagement à publier les résultats finaux à condition que le protocole soit suivi.
Le point est de réduire deux problèmes de longue date. Le biais de publication signifie que les résultats nuls ne sont souvent jamais imprimés parce que les éditeurs et les auteurs préfèrent les résultats positifs. HARKing, ou hypothèse après que les résultats sont connus, permet aux chercheurs de présenter des résultats inattendus comme s'ils avaient été prédits tout le temps. Les rapports enregistrés ne peuvent pas enlever toute la flexibilité, mais ils déplacent la décision sur la qualité au point où la question de recherche et la méthode sont en jeu, plutôt que la direction du résultat.
En 2015, l'Open Science Collaboration a publié une réplique de 100 études de psychologie et a constaté que 36 répliques produisaient des résultats statistiquement significatifs, par rapport à 97 des études originales.
Où se trouve réellement l’accueil
Cortex et Perspectives on Psychological Science ont été parmi les premières revues à formaliser les rapports enregistrés en 2013. L'approche s'est ensuite répandue de manière inégale dans les domaines des neurosciences, de la psychologie sociale, de l'écologie et de la recherche sur le cancer.Le Centre pour la science ouverte maintient maintenant un répertoire de revues qui offrent le format, une liste qui a passé 300 titres.
La plupart des revues qui offrent le format reçoivent peu de soumissions de phase 1 chaque année.Les auteurs craignent que s'engager à un plan avant la collecte de données punisse le travail exploratoire, qu'une révision échouée de phase 1 coûte des mois, ou qu'un journal avec une reconnaissance de nom inférieure n'impressionne pas un comité de recrutement.Le résultat est un désaccord familier: une option existe sur le papier, mais les chercheurs ne l'utilisent pas à moins qu'un financier ou un superviseur ne le fasse sentir en sécurité.
Ce que les investisseurs demandent maintenant
Les financiers ont été plus prudents que les revues, mais une poignée ont cessé de traiter les rapports enregistrés comme un simple type de publication éligible.Rapports enregistrés partenariat de financementest l'un des exemples les plus clairs: il soutient les études à travers la route des rapports enregistrés et relie les décisions de financement au processus de révision en deux étapes. une équipe reçoit un financement provisoire pour une étude et travaille ensuite à travers l'examen par les pairs de la phase 1; l'acceptation en principe déverrouille le prix complet.
Recherche ouverte Wellcome, la plate-forme de recherche ouverte pour les équipes financées par Wellcome, a fait des rapports enregistrés un type d'article disponible afin que les chercheurs puissent publier le protocole et l'étude terminée dans un flux de travail financé.
Les mandats des donateurs publics sont encore loin d'être universels. Aucune grande agence de recherche fédérale des États-Unis n'exige des rapports enregistrés sur l'ensemble de son portefeuille de subventions, et la poussée fédérale plus forte s'est concentrée sur la gestion des données et les exigences de partage. les donateurs britanniques et européens ont été plus disposés à piloter des appels fermés et à traiter l'acceptation en principe comme un signal de qualité de la recherche dans l'examen des subventions. Le tableau de la politique est inégal, mais la direction a changé d'encouragement au mandat sélectif.
Les chiffres derrière une révolution lente
Peer Community dans les rapports enregistréslancée en 2021, est devenue une couche intermédiaire utile pour les chercheurs qui ne veulent pas parier sur un seul journal.La plate-forme examine indépendamment les protocoles de phase 1 et recommande le travail accepté à un réseau de revues participantes.Cela change l'arithmétique pour un chercheur de carrière précoce: le protocole peut être examiné une fois, et la sélection du journal peut se produire après l'acceptation en principe plutôt que avant la collecte de données.
Les rapports enregistrés sont assez fréquents dans des revues telles que la Royal Society Open Science et Nature Human Behaviour pour être visibles, mais ils restent rares dans l'ensemble de la biomédecine.Où ils apparaissent, les adoptants décrivent souvent l'expérience comme plus lente au début et plus rapide à la fin, parce que la décision finale n'est plus une question de savoir si les résultats sont passionnants.
Les chercheurs qui suivent les rapports enregistrés opèrent maintenant dans le même environnement politique qui a produit plus strictsLes mandats de partage de donnéesUn flux de travail protocole premier n’est pas un mouvement distinct ; il se trouve à côté de ces règles et facilite souvent la conformité car les décisions de collecte et d’analyse des données sont déjà documentées.
Des chercheurs de carrière précoce, des comités de recrutement et une autre monnaie
Pour les candidats au doctorat et les chercheurs postdoctoraux, une acceptation en principe de la phase 1 peut fonctionner comme une police d'assurance contre la boîte à résultats nuls. Un journal s'est déjà engagé à considérer le document final, ce qui signifie que le dossier de recherche n'est pas pris en otage par une découverte non significative.
Beaucoup de rubriques comptent encore les placements de revues et les indicateurs de citation, avec peu de crédit formel pour un protocole de rapport enregistré ou une publication qui rapporte un résultat nul avec soin. Ce qui crée une véritable pénalité pour les chercheurs eux-mêmes qui essaient de réformer le système. Un département qui ajoute une acceptation en principe à ses directives de promotion fait plus pour augmenter l'adoption que n'importe quel nombre d'ateliers de reproductibilité.
La pression n'est pas théorique.Les chercheurs postdoctoraux sont déjà confrontés à une intensitéPressions de publication, et l'ajout d'un plus long examen pré-données peut se sentir risqué si les avantages sont invisibles pour un futur employeur. Les administrateurs peuvent changer cela en nommant les rapports enregistrés dans les modèles d'examen annuel et en les énumérant dans les rapports d'activité des professeurs.
Ce que les agences de recherche peuvent faire ce mois-ci
Une première étape pratique est d’identifier dix revues dans les disciplines les plus courantes de l’institution qui offrent déjà des rapports enregistrés et d’envoyer cette liste aux groupes de recherche dans la prochaine newsletter de soutien aux subventions.Centre pour l'Open Science Directoryrend le filtrage rapide et les équipes de publication conservent généralement les mêmes données localement.
Ensuite, choisissez un tour de financement où l'institution a une influence sur le processus de demande et ajoutez une ligne aux critères d'examen interne qui demande aux réviseurs de considérer un protocole de rapport enregistré soumis ou l'acceptation en principe comme preuve de la qualité de la recherche.
Enfin, donnez aux administrateurs qui gèrent les résultats de la recherche une place dans la conversation. Ils voient quels rapports de subvention s'arrêtent et quels protocoles restent inexaminés; ils savent également quelles facultés ont besoin d'aide pratique avec les calculs de puissance.Les universités qui font travailler les rapports enregistrés sont celles où quelqu'un dans le bureau de la recherche possède le processus par nom, suit un protocole de la phase 1 à la phase 2, et aide le chercheur à réinitialiser lorsqu'une étude ne se déroule pas comme prévu.
Photo by Krists Luhaers on Unsplash