"¿Por qué nuestros mejores investigadores estarían de acuerdo en tener su plan de análisis revisado por pares antes de que hayan visto los datos?"Esta fue la pregunta que un vice canciller del Reino Unido para la investigación me hizo el mes pasado mientras su institución debatía si reconocer los informes registrados en los criterios de promoción.
Los informes registrados son un formato de publicación que invierte la secuencia habitual. Un autor presenta un manuscrito de etapa 1 que contiene la introducción, el método, los análisis propuestos y un análisis de potencia detallado antes de recopilar datos. Los revisores evalúan la pregunta de investigación y el diseño del estudio mientras que todavía pueden cambiar algo. Si el plan pasa, la revista otorga la aceptación en principio, un compromiso de publicar los resultados finales siempre que se siga el protocolo.
El punto es reducir dos problemas de larga data. bias de publicación significa que los resultados nulos a menudo nunca se ven impresos porque los editores y autores prefieren los hallazgos positivos. HARKing, o hipotetizar después de que los resultados se conocen, permite a los investigadores presentar los hallazgos inesperados como si hubieran sido predichos todo el tiempo.
En 2015, la Open Science Collaboration publicó una replicación de 100 estudios de psicología y encontró que 36 replicaciones produjeron resultados estadísticamente significativos, en comparación con 97 de los estudios originales.
Donde se encuentra en realidad el ascenso
Cortex y Perspectives on Psychological Science fueron entre las primeras revistas que formalizaron los informes registrados en 2013. El enfoque luego se extendió de manera desigual a través de la neurociencia, la psicología social, la ecología y la investigación sobre el cáncer.El Centro para la Ciencia Abierta ahora mantiene un directorio de revistas que ofrecen el formato, una lista que ha pasado 300 títulos.
La mayoría de las revistas que ofrecen el formato reciben pocas presentaciones de Fase 1 cada año.Los autores se preocupan de que comprometerse a un plan antes de la recopilación de datos castigará el trabajo exploratorio, que una revisión fallida de Fase 1 costará meses, o que una revista con reconocimiento de nombre más bajo no impresionará a un comité de contratación.El resultado es un desacuerdo familiar: una opción existe en el papel, pero los investigadores no la usan a menos que un financiador o un supervisor lo haga sentirse seguro.
Qué están pidiendo los financieros
Los financiadores han actuado con más precaución que las revistas, pero un puñado han dejado de tratar los informes registrados como simplemente un tipo de publicación elegible.Informe de colaboración financiera registradoes uno de los ejemplos más claros: apoya los estudios a través de la ruta de los informes registrados y vincula las decisiones de financiación al proceso de revisión en dos etapas. un equipo recibe financiación provisional para un estudio y luego trabaja a través de la revisión por pares de la Fase 1; la aceptación en principio desbloquea el premio completo.
Wellcome Investigación Abierta, la plataforma de investigación abierta para los equipos financiados por Wellcome, ha hecho de los informes registrados un tipo de artículo disponible para que los investigadores puedan publicar el protocolo y el estudio concluido en un flujo de trabajo financiado.
Los mandatos de los financiadores públicos todavía están lejos de ser universales. Ninguna agencia de investigación federal importante de los Estados Unidos requiere informes registrados en toda su cartera de subvenciones, y el impulso federal más fuerte se ha centrado en los requisitos de gestión de datos y compartir. los financiadores del Reino Unido y de Europa han estado más dispuestos a pilotar llamadas cerradas y a tratar la aceptación en principio como una señal de calidad de la investigación en la revisión de las subvenciones.
Los números detrás de una lenta revolución
Comunidad de pares en informes registrados, lanzado en 2021, se ha convertido en una capa media útil para los investigadores que no quieren apostar por una única revista. La plataforma revisa los protocolos de la Etapa 1 de forma independiente y recomienda el trabajo aceptado a una red de revistas participantes.
Los informes registrados son suficientemente comunes en revistas como Royal Society Open Science y Nature Human Behaviour para ser visibles, pero siguen siendo raros en toda la biomedicina en su conjunto.
Los investigadores que siguen los informes registrados ahora están operando dentro del mismo entorno de políticas que ha producido más estrictosMandatos de compartición de datosUn flujo de trabajo protocolo-primero no es un movimiento separado; se sienta junto a esas reglas y a menudo hace que el cumplimiento sea más fácil porque las decisiones de recopilación y análisis de datos ya están documentadas.
Investigadores de carrera temprana, comités de contratación y una moneda diferente
Para los candidatos de doctorado y los investigadores postdoctorales, una aceptación en principio de la Fase 1 puede funcionar como una póliza de seguro contra la caja de resultados nulos.Una revista ya se ha comprometido a considerar el documento final, lo que significa que el registro de la investigación no se mantiene como rehenes por un hallazgo no significativo.
Los comités de contratación y los paneles de promoción han sido más lentos en valorarlo.Muchas rubricas todavía cuentan con plazos de revistas y métricas de citas, con poco crédito formal para un protocolo de informe registrado o una publicación que reporta un resultado nulo cuidadosamente. Esto crea una verdadera sanción para los propios investigadores que están tratando de reformar el sistema.
La presión no es teórica.Los investigadores postdoctorales ya se enfrentan a una intensaPresión de publicación, y la adición de una revisión de pre-datos más larga puede sentirse arriesgado si los beneficios son invisibles para un futuro empleador.Los administradores pueden cambiar eso al nombrar los informes registrados en los modelos de revisión anual y listarlos en los informes de actividad de la facultad.
Qué pueden hacer las agencias de investigación este mes
Un primer paso práctico es identificar diez revistas en las disciplinas más comunes de la institución que ya ofrecen informes registrados y enviar esa lista a los grupos de investigación en el siguiente boletín de apoyo de subvenciones.Directorio del Centro de Ciencia Abiertahace que la filtración sea rápida, y los equipos de publicación suelen mantener los mismos datos localmente.
Luego, elija una ronda de financiación en la que la institución tenga influencia sobre el proceso de solicitud y añade una línea a los criterios de revisión interna que pide a los revisores que consideren un protocolo de informe registrado presentado o la aceptación en principio como evidencia de la calidad de la investigación.
Finalmente, dar a los administradores que manejan los resultados de la investigación un lugar en la conversación. Ellos ven qué informes de subvenciones se detienen y qué protocolos se encuentran sin revisar; también saben qué facultad necesita ayuda práctica con los cálculos de potencia. Las universidades que hacen que los informes registrados funcionen son aquellas en las que alguien en la oficina de investigación posee el proceso por nombre, sigue un protocolo de la Etapa 1 a la Etapa 2, y ayuda al investigador a reiniciar cuando un estudio no va como planeado.
Photo by Krists Luhaers on Unsplash