Reforma da Avaliação da Investigação Além da DORA: O que Acontece Depois que as Universidades Param de Contar os Fatores de Impacto das Revistas

Em dezembro de 2012, um grupo de editores e pesquisadores se reuniu na reunião anual da Sociedade Americana de Biologia Celular em San Francisco e escreveu uma declaração. Desde então, atraiu milhares de assinaturas de universidades, financiadores, editores e sociedades profissionais. A Declaração de San Francisco sobre Avaliação de Pesquisa, conhecida como DORA, faz uma exigência central: não julgue um pesquisador pela revista em que seu trabalho aparece.

Eu primeiro li DORA como eu li contratos de associação de ginásios com entusiasmo, então eu esqueci sobre isso até renovação. Isso mudou cerca de cinco anos depois, quando eu estava sentado em um comitê de contratação que passou muito tempo classificando candidatos pelos títulos em seus currículos. eu não estou orgulhoso disso.

A lacuna entre assinar um compromisso e mudar um arquivo de promoção é onde a reforma de avaliação de pesquisa realmente tem sucesso ou está parado.

O que Dora realmente pede

A instrução mais citada da DORA é uma negativa: os financiadores, universidades, institutos de pesquisa e as sociedades profissionais que executam muitas revistas não devem usar o Fator de Impacto do Jornal, contagens de citações ou qualquer outra métrica de nível de revista como um substituto para a leitura do trabalho de um candidato. O Fator de Impacto do Jornal, geralmente JIF, é uma média simples: o número de citações em um ano para artigos publicados nos dois anos anteriores, dividido pelo número de artigos citáveis.

A declaração também visa editores e provedores de dados.Pede aos editores para parar de comercializar o fator de impacto como a marca central da qualidade, para disponibilizar métricas individuais de artigos, para apoiar identificadores de nomes de autores, e para ser explícito sobre o que qualquer métrica pode e não pode mostrar.Pede aos financiadores para escrever critérios de avaliação que digam explicitamente o que conta como boa ciência, não apenas onde foi publicado.

Mas uma assinatura não reescreve uma lista de verificação de mandato.DORA sempre foi um conjunto de recomendações, não um órgão de aplicação.Esse é precisamente o problema que a próxima onda de reformas tentou resolver.

Os arquivos promocionais são onde a reforma encontra a realidade

Os Países Baixos oferecem o exemplo mais claro de instituições que tentam ultrapassar os compromissos.Em 2019, universidades holandesas, centros médicos universitários e financiadores de pesquisa publicaram o "Room for Everyone's Talent", que reafirma a qualidade acadêmica como mais do que a produção de publicações.Este programa, agora chamado de Reconhecimento e Recompensas, empurra os departamentos a avaliar a pesquisa, o ensino, o impacto social, a liderança e o atendimento ao paciente juntos e a construir caminhos de carreira separados para pessoas que se destacam em diferentes combinações dessas tarefas.

A Universidade de Utrecht foi mais longe na prática. Sua orientação de contratação e promoção diz aos comitês para não usar o fator de impacto como um atalho e pede aos candidatos para descrever suas contribuições em pesquisa, educação, ciência da equipe e engajamento público. Universidade de Ghent na Bélgica usa um formato de avaliação amplo semelhante. A característica comum é que a conversa começa com o trabalho, não a capa da revista.

A declaração completa, incluindo suas recomendações para financiadores e editores, está disponível em:Sfdora.orgLer leva vinte minutos; reescrever uma rubrica de promoção leva anos.

Photo by Daria Nepriakhina 🇺🇦 on Unsplash

CoARA transformou um movimento de voluntários em um cronograma

O desenvolvimento estrutural mais importante chegou em julho de 2022, quando a Associação Universitária Europeia, a Ciência Europa e a Comissão Europeia lançaram o Acordo sobre a Reforma da Avaliação da Investigação.CoroaOs signatários concordam em basear a avaliação principalmente no julgamento qualitativo, com indicadores quantitativos usados apenas onde significativos, e abandonar o uso inadequado de métricas baseadas em periódicos na contratação, promoção, pedidos de bolsas de estudo e avaliações de subsídios.

O que torna o CoARA diferente do DORA é que ele vem com prazos. Os membros são esperados para publicar planos de ação, rever critérios institucionais, relatar o progresso, e atualizar os planos quando a evidência mostra que eles não estão funcionando.

Em 2020, o Ministério da Educação e o Ministério da Ciência e Tecnologia disseram às universidades para parar de tratar as contagens de papel da SCI e os fatores de impacto da revista como o critério principal para títulos, bônus, aprovações de projetos de pesquisa e recrutamento.China’s Reforma da Avaliação de PesquisaA lição da Europa e da China é que a reforma acelera quando os financiadores deixam de recompensar velhas métricas, porque as universidades seguem o dinheiro mais rápido do que seguem declarações.

O REF 2029 do Reino Unido dá à cultura um número

O próximo ciclo, REF 2029, muda a fórmula: os resultados da pesquisa contam por 50 por cento, o impacto por 25 por cento, e o novo bloco Pessoas, Cultura e Meio Ambiente por 25 por cento.

A mudança importa porque muda o que os chefes de departamento pedem em revisões anuais.Uma unidade que protege o tempo para mentoria, registra como apoia pesquisadores de carreira precoce, trata a pesquisa aberta como normal e revisiona as alocações de carga de trabalho pode agora argumentar que isso é evidência, não administrador.REF 2029 páginasAo mesmo tempo, as regras de depósito de acesso aberto têm seus próprios requisitos, como a AcademicJobs explicou em um guia anterior para aREF 2029 Política de Depósitos de Acesso Aberto. o

Uma advertência de ciclos passados é que as novas categorias muitas vezes ficam cheias de evidências antigas: um departamento pode simplesmente rebatizar sua lista de publicações como “cultura” sem mudar o comportamento.

As métricas não desaparecem; elas se deslocam

A remoção do fator de impacto geralmente deixa um vácuo, e os comitês de avaliação preenchem vácuo rapidamente. Um candidato pode agora ser solicitado para contagens de citação no nível do artigo, percentis de citação normalizados em campo, números de download, menções de mídia ou compartilhamentos de mídia social. Nenhum deles é inerentemente melhor em identificar pesquisa cuidadosa. O Manifesto de Leiden, publicado na Nature em 2015, advertiu que a avaliação quantitativa deve apoiar, não substituir, o julgamento de especialistas. Os dez princípios permanecem o guia mais prático para usar métricas de pesquisa de forma responsável; o texto completo está disponível emNatureza. o

Os currículos narrativos criam seus próprios preconceitos. Uma narrativa longa e bem editada pode favorecer os candidatos com tempo, fluência na língua nativa e forte orientação. Formatos estruturados mais curtos, como o Résumé para pesquisadores usados pela UK Research and Innovation, tentam reduzir essa lacuna pedindo seções fixas: contribuições para pesquisa, ciência da equipe, ensino, liderança e sociedade em geral. O formato funciona melhor quando os avaliadores são treinados para lê-lo e dar tempo suficiente. Sem isso, um currículo narrativo torna-se outro documento para esquimar palavras-chave.

Para os pesquisadores, a implicação prática é que a evidência agora importa mais do que adjetivos. “Eu sou um cientista altamente colaborativo” não diz nada. “Eu coordenou um estudo de coorte de seis instituições e escrevi o acordo de compartilhamento de dados usado por todos os sites” diz muito.

Photo by Clayton Robbins on Unsplash

Ninguém lhe diz isso sobre aplicar sob as novas regras

A maioria dos pesquisadores encontrará o sistema de avaliação reformado através de um único documento: a promoção ou o pedido de bolsa de estudos. Você pode prepará-lo sem esperar que sua universidade publique uma nova política. Comece coletando evidências nas categorias que os comitês agora tendem a perguntar: resultados de pesquisa que você pode explicar em linguagem simples, contribuições para o ensino e supervisão, papéis de serviço que mudaram um processo, práticas de pesquisa abertas e colaborações onde você fez o trabalho de coordenação incrível.

Um identificador persistente ajuda. ORCID liga seus trabalhos, subsídios, atividade de revisão por pares e histórico de emprego para que os avaliadores possam encontrar o que você realmente fez, em vez do que um mecanismo de busca obtém.Peer review e fluxos de trabalho editoriaisRegistrar e manter um perfil ORCID atual é seguro barato contra ser julgado em uma lista de publicação incompleta.

Quando você escreve um aplicativo, mostre a relação entre o seu papel e o resultado. Para cada trabalho importante, especifique se você projetou o estudo, gerenciou os dados, garantiu a aprovação ética, escreveu o manuscrito ou liderou a equipe.

Eu uma vez adicionei meu nome a um compromisso de avaliação de pesquisa responsável e, duas semanas depois, fui solicitado a submeter meu h-index para uma revisão interna. Este não é um argumento contra o compromisso. É uma descrição da lacuna que importa: declarações mudam de idioma, mas apenas painéis de contratação, conselhos de financiamento e os formulários de revisão anual que os chefes de departamento realmente completam comportamento de mudança.

O próximo teste para a reforma da avaliação da pesquisa será se os anúncios de emprego deixam de descrever as revistas de nível superior como o primeiro requisito. Alguns pararam. Outros ainda carregam a velha linha enquanto exibem uma marca DORA em outro lugar no mesmo site, uma combinação que comecei a ler como uma associação de ginásio amarrada a uma geladeira.