Reforma de la Evaluación de la Investigación más allá de DORA: ¿Qué sucede después de que las universidades dejan de contar los factores de impacto de

En diciembre de 2012, un grupo de editores y investigadores se reunió en la reunión anual de la Sociedad Americana de Biología Celular en San Francisco y escribió una declaración. Desde entonces ha atraído miles de firmas de universidades, financiadores, editores y sociedades profesionales. La Declaración de San Francisco sobre Evaluación de la Investigación, conocida como DORA, hace una demanda central: no juzgue a un investigador por la revista en la que aparece su trabajo.

Primero leí DORA de la manera en que leía los contratos de miembros del gimnasio con entusiasmo, luego me olvidé de ello hasta la renovación. Esto cambió alrededor de cinco años después, cuando me senté en un comité de contratación que pasó demasiado tiempo ordenando a los candidatos por los títulos de sus CV. No estoy orgulloso de ello.

La brecha entre firmar un compromiso y cambiar un archivo de promociones es donde la reforma de la evaluación de la investigación realmente tiene éxito o se detiene.

Lo que Dora realmente pide

La instrucción más citada de DORA es una negativa: los financiadores, las universidades, los institutos de investigación y las sociedades profesionales que ejecutan muchas revistas no deben utilizar el factor de impacto del periódico, el número de citas, o cualquier otra métrica de nivel de periódico como un sustituto para la lectura del trabajo de un candidato. El factor de impacto del periódico, generalmente JIF, es una media simple: el número de citas en un año a artículos publicados en los dos años anteriores, dividido por el número de artículos citables.

La declaración también se dirige a los editores y proveedores de datos.Pide a los editores que dejen de comercializar el factor de impacto como el emblema central de la calidad, que hagan disponibles las métricas de artículos individuales, que apoyen los identificadores de nombres de autores, y que sean explícitos acerca de lo que cualquier métrica puede y no puede mostrar.Pide a los financiadores que escriban criterios de evaluación que digan explícitamente lo que cuenta como buena ciencia, no sólo donde se publicó.

Pero una firma no reescribe una lista de control de mandato.DORA siempre ha sido un conjunto de recomendaciones, no un organismo de ejecución.Este es precisamente el problema que la próxima ola de reformas ha tratado de resolver.

Los archivos promocionales son donde la reforma se encuentra con la realidad

En 2019, universidades holandesas, centros médicos universitarios y financiadores de investigación publicaron "Room for Everyone's Talent", que reafirma la calidad académica como algo más que la producción de la publicación.Este programa, ahora llamado Recognition and Rewards, impulsa a los departamentos a evaluar la investigación, la enseñanza, el impacto social, el liderazgo y el cuidado del paciente juntos, y a construir caminos de carrera separados para personas que excelen en diferentes combinaciones de esas tareas.

La Universidad de Utrecht ha ido más lejos en la práctica. Su guía de contratación y promoción dice a los comités que no utilicen el factor de impacto como un recorrido corto y pide a los candidatos que describan sus contribuciones a través de la investigación, la educación, la ciencia del equipo y el compromiso público. La Universidad de Ghent en Bélgica utiliza un formato de evaluación similar. La característica común es que la conversación comienza con el trabajo, no con la portada de la revista.

La declaración completa, incluidas sus recomendaciones para los financiadores y los editores, está disponible en:Página web.orgLa lectura tarda veinte minutos; la reescritura de una sección promocional tarda años.

Photo by Daria Nepriakhina 🇺🇦 on Unsplash

CoARA convirtió un movimiento de voluntarios en un calendario

El desarrollo estructural más importante llegó en julio de 2022, cuando la Asociación Europea de Universidades, Ciencia Europa y la Comisión Europea lanzaron el Acuerdo sobre la Reforma de la Evaluación de la Investigación.CorazónLos firmantes acuerdan basar la evaluación principalmente en el juicio cualitativo, con indicadores cuantitativos utilizados sólo cuando sean significativos, y abandonar el uso inapropiado de métricas basadas en revistas en la contratación, promoción, solicitudes de becas y revisiones de subvenciones.

Lo que hace que CoARA sea diferente de DORA es que viene con plazos. Se espera que los miembros publiquen planes de acción, revisen criterios institucionales, informe sobre el progreso y actualicen los planes cuando la evidencia demuestre que no están funcionando.

En 2020, el Ministerio de Educación y el Ministerio de Ciencia y Tecnología dijeron a las universidades que dejarían de tratar las cuentas de papel de SCI y los factores de impacto de revistas como el criterio principal para los títulos, bonos, aprobaciones de proyectos de investigación y reclutamiento.China’ la reforma de la evaluación de la investigaciónLa lección tanto de Europa como de China es que la reforma se acelera cuando los financiadores dejan de recompensar las viejas métricas, porque las universidades siguen el dinero más rápido que siguen las declaraciones.

El Reino Unido’s REF 2029 da la cultura un número

El siguiente ciclo, REF 2029, cambia la fórmula: los resultados de la investigación cuentan por el 50 por ciento, el impacto por el 25 por ciento, y el nuevo bloque de personas, cultura y medio ambiente por el 25 por ciento.

El cambio es importante porque cambia lo que los jefes de departamentos piden en revisiones anuales.Una unidad que protege el tiempo para la orientación, registra cómo apoya a los investigadores de carrera temprana, trata la investigación abierta como normal y revisa las asignaciones de carga de trabajo ahora puede argumentar que esto es evidencia, no administrador.REF 2029 páginasAl mismo tiempo, las reglas de depósito de acceso abierto tienen sus propios requisitos, como AcademicJobs explicó en una guía anterior a laREF 2029 Política de Depósitos de Acceso Abierto. el

Una advertencia de los ciclos pasados es que las nuevas categorías a menudo se llenan de evidencias antiguas: un departamento puede simplemente rebautizar su lista de publicaciones como “cultura” sin cambiar el comportamiento.

Las métricas no desaparecen; se desplazan

Eliminar el factor de impacto generalmente deja un vacío, y los comités de evaluación llenan los vacíos rápidamente. A un candidato se le puede pedir ahora cuentas de citas en el nivel del artículo, percentiles de citas normalizados en el campo, cifras de descarga, menciones en los medios de comunicación o acciones en las redes sociales. Ninguno de ellos es inherentemente mejor en la identificación de la investigación cuidadosa. El Manifiesto de Leiden, publicado en Nature en 2015, advirtió de que la evaluación cuantitativa debería apoyar, no reemplazar, el juicio de expertos. Los diez principios siguen siendo la guía más práctica para utilizar las métricas de investigación de forma responsable; el texto completo está disponible enNaturaleza. el

Los CV narrativos crean sus propios prejuicios. Una narración larga y bien editada puede favorecer a los candidatos con tiempo, fluidez en el idioma nativo y un mentor fuerte. Formatos estructurados más cortos, como el Résumé para los investigadores utilizados por la investigación y la innovación del Reino Unido, tratan de reducir esa brecha pidiendo secciones fijas: contribuciones a la investigación, la ciencia del equipo, la enseñanza, el liderazgo y la sociedad en general. El formato funciona mejor cuando los evaluadores están capacitados para leerlo y darle suficiente tiempo.

Para los investigadores, la implicación práctica es que la evidencia ahora importa más que los adjetivos. “Soy un científico altamente colaborativo” no dice nada. “He coordinado un estudio de cohorte de seis instituciones y he escrito el acuerdo de intercambio de datos utilizado por todos los sitios” dice bastante.

Photo by Clayton Robbins on Unsplash

Nadie te dice esto sobre aplicar bajo las nuevas reglas

La mayoría de los investigadores se encontrarán con el sistema de evaluación reformado a través de un solo documento: la promoción o la solicitud de becas. Puede prepararse para ello sin esperar a que su universidad publique una nueva política. Comience recopilando evidencia en las categorías que los comités ahora tienden a preguntar: resultados de la investigación que puede explicar en lenguaje simple, contribuciones a la enseñanza y la supervisión, roles de servicio que cambiaron un proceso, prácticas de investigación abiertas y colaboraciones donde hizo el trabajo de coordinación inolvidable.

Un identificador persistente ayuda. ORCID vincula sus trabajos, becas, actividad de revisión de pares y historial de empleo para que los evaluadores puedan encontrar lo que realmente hizo, en lugar de lo que un motor de búsqueda recupera.Revisión por pares y flujos de trabajo editorialRegistrar y mantener un perfil ORCID actual es un seguro barato contra ser juzgado en una lista de publicaciones incompleta.

Cuando escriba una solicitud, muestre la relación entre su papel y la salida. Para cada trabajo importante, especifique si ha diseñado el estudio, gestionado los datos, asegurado la aprobación ética, escribió el manuscrito o lideró el equipo. Si un comité se niega a leer más allá del nombre de la revista, eso es una señal sobre la institución, no una reflexión sobre su solicitud.

Una vez agregé mi nombre a un compromiso de evaluación de la investigación responsable y luego, dos semanas más tarde, me pidieron que enviara mi h-index para una revisión interna. Este no es un argumento contra el compromiso. Es una descripción de la brecha que importa: las declaraciones cambian de idioma, pero solo los paneles de contratación, los consejos de financiación y los formularios de revisión anual que los jefes de departamento realmente completan el comportamiento de cambio.

La próxima prueba para la reforma de la evaluación de la investigación será si los anuncios de empleo dejan de describir las revistas de primer nivel como el primer requisito. Algunos se han detenido. Otros todavía llevan la vieja línea mientras muestran una marca DORA en otro lugar en el mismo sitio, una combinación que he comenzado a leer como una membresía de gimnasio pegada a un frigorífico.