"Por que nossos melhores pesquisadores concordariam em ter seu plano de análise revisado por pares antes de terem visto os dados?"Esta foi a pergunta que um vice-chanceler do Reino Unido para pesquisa me fez no mês passado, enquanto sua instituição debatia se reconhecer relatórios registrados em critérios de promoção.
Os relatórios registrados são um formato de publicação que reverte a seqüência usual. Um autor apresenta um manuscrito de Fase 1 contendo a introdução, o método, as análises propostas e uma análise de poder detalhada antes de coletar dados. Os revisores avaliam a pergunta de pesquisa e o design do estudo enquanto eles ainda podem mudar algo. Se o plano passar, a revista concede aceitação em princípio, um compromisso de publicar os resultados finais desde que o protocolo seja seguido.
O ponto é reduzir dois problemas de longa data. Preconceito de publicação significa que os resultados nulos muitas vezes nunca vêem impressão porque editores e autores preferem descobertas positivas. HARKing, ou hipotetizar depois que os resultados são conhecidos, permite que os pesquisadores apresentem descobertas inesperadas como se tivessem sido previstas o tempo todo. Relatórios registrados não podem remover toda a flexibilidade, mas eles movem a decisão sobre a qualidade para o ponto onde a questão de pesquisa e método estão em jogo, em vez da direção do resultado.
Em 2015, a Open Science Collaboration publicou uma réplica de 100 estudos de psicologia e descobriu que 36 réplicas produziram resultados estatisticamente significativos, em comparação com 97 dos estudos originais.
Onde a abertura realmente está
Cortex e Perspectives on Psychological Science estavam entre as primeiras revistas a formalizar Relatórios Registrados em 2013. A abordagem então se espalhou de forma desigual em toda a neurociência, psicologia social, ecologia e pesquisa sobre câncer.O Centro para a Ciência Aberta agora mantém um diretório de revistas que oferecem o formato, uma lista que passou 300 títulos.
A maioria das revistas que oferecem o formato recebem poucas submissões de Fase 1 a cada ano. Os autores se preocupam que se comprometer com um plano antes da coleta de dados punirá o trabalho exploratório, que uma revisão falhada de Fase 1 custará meses, ou que uma revista com reconhecimento de nome inferior não impressionará um comitê de contratação.
O que os financiadores estão pedindo
Os financiadores se moveram com mais cautela do que as revistas, mas um punhado deixaram de tratar os relatórios registrados como apenas um tipo de publicação elegível.Relatórios de Parceria de Financiamentoé um dos exemplos mais claros: ele apoia estudos através da rota de relatórios registrados e liga as decisões de financiamento ao processo de revisão em duas etapas.
Wellcome pesquisa aberta, a plataforma de pesquisa aberta para equipes financiadas pela Wellcome, tornou os Relatórios Registrados um tipo de artigo disponível para que os pesquisadores possam publicar o protocolo e o estudo concluído em um único fluxo de trabalho financiado.
Os mandatos dos financiadores públicos ainda estão longe de ser universais.Nenhuma grande agência de pesquisa federal dos Estados Unidos exige relatórios registrados em todo o seu portfólio de subvenções, e o impulso federal mais forte lá tem se concentrado em requisitos de gerenciamento de dados e compartilhamento.Os financiadores do Reino Unido e da Europa têm sido mais dispostos a pilotar chamadas bloqueadas e a tratar a aceitação em princípio como um sinal de qualidade de pesquisa na revisão de subvenções.
Os números por trás de uma revolução lenta
Peer Community em Relatórios RegistradosA plataforma, lançada em 2021, tornou-se uma camada intermediária útil para pesquisadores que não querem apostar em uma única revista.A plataforma examina os protocolos da Fase 1 de forma independente e recomenda o trabalho aceito a uma rede de revistas participantes.Isso muda a aritmética para um pesquisador de carreira precoce: o protocolo pode ser revisado uma vez, e a seleção da revista pode ocorrer após a aceitação em princípio, em vez de antes da coleta de dados.
Os relatórios registrados são suficientemente comuns em revistas como a Royal Society Open Science e Nature Human Behaviour para serem visíveis, mas permanecem raros em toda a biomedicina como um todo.
Os pesquisadores que seguem relatórios registrados agora estão operando dentro do mesmo ambiente de política que produziu mais rigorosoMandatos de partilha de dadosUm fluxo de trabalho protocolo-primeiro não é um movimento separado; ele está ao lado dessas regras e muitas vezes torna a conformidade mais fácil porque as decisões de coleta de dados e análise já são documentadas.
Pesquisadores de carreira precoce, comitês de contratação e uma moeda diferente
Para candidatos de doutorado e pesquisadores pós-doutorados, uma aceitação de princípio da Fase 1 pode funcionar como uma apólice de seguro contra a caixa de resultados zero. Uma revista já se comprometeu a considerar o artigo final, o que significa que o registro de pesquisa não é mantido refém por uma descoberta não significativa.
Muitas rubricas ainda contam colocações de revistas e métricas de citação, com pouco crédito formal para um protocolo de Relatório Registrado ou uma publicação que relata um resultado nulo cuidadosamente. Isso cria uma verdadeira punição para os próprios pesquisadores que estão tentando reformar o sistema. Um departamento que adiciona aceitação em princípio à sua orientação de promoção faz mais para aumentar a adoção do que qualquer número de oficinas de reprodutibilidade.
A pressão não é teórica. pesquisadores pós-doutorados já enfrentam intensoPressão de publicação, e adicionar uma revisão pré-dados mais longo pode parecer arriscado se os benefícios são invisíveis para um futuro empregador. Os administradores podem mudar isso por nomear Relatórios Registrados em modelos de revisão anual e listá-los em relatórios de atividade do corpo docente.
O que os escritórios de pesquisa podem fazer este mês
Um primeiro passo prático é identificar dez revistas nas disciplinas mais comuns da instituição que já oferecem Relatórios Registrados e enviar essa lista para os grupos de pesquisa no próximo boletim de apoio de subvenção.Diretório do Centro de Ciência Abertatorna a filtragem rápida e as equipes de publicação geralmente mantêm os mesmos dados localmente.
Em seguida, escolha uma rodada de financiamento onde a instituição tem influência sobre o processo de aplicação e adicione uma linha aos critérios de revisão interna que pede aos revisores que considerem um protocolo de relatório registrado apresentado ou aceitação em princípio como prova da qualidade da pesquisa.
Finalmente, dê aos administradores que gerenciam as saídas de pesquisa um lugar na conversa. Eles veem quais relatórios de subvenção ficam parados e quais protocolos ficam sem revisão; eles também sabem quais professores precisam de ajuda prática com os cálculos de potência.As universidades que fazem os relatórios registrados funcionarem são aquelas onde alguém no escritório de pesquisa possui o processo por nome, segue um protocolo da Etapa 1 à Etapa 2, e ajuda o pesquisador a redefinir quando um estudo não vai como planejado.
Photo by Krists Luhaers on Unsplash