At a glance
Um olhar sobre as lacunas nos PRISMA 2020 e AMSTAR 2 quando as ferramentas de IA selecionam e extraem evidências, com soluções práticas para equipes de pesquisa e revistas.
As revisões sistemáticas são vendidas sobre reprodutibilidade. A declaração PRISMA 2020, o padrão de relatórios do campo, passa por 27 itens da lista de verificação e não diz nada sobre modelos de idioma grandes, algoritmos de priorização de rastreamento ou extração de dados automatizada. Um colega que eu chamo Dr. R encontrou a lacuna da maneira mais difícil quando uma revista pediu as pontuações de relevância atribuídas pelo modelo por trás de sua tela de registros de 6.000. Ela tinha a lista final incluída.
As ferramentas já estão em uso rotineiro. Covidence, Rayyan, EPPI-Reviewer, DistillerSR e um conjunto crescente de pipelines internos agora oferecem alguma forma de rastreamento ou extração assistida por máquina. Os pesquisadores usam-nos para classificar citações, marcar registros provavelmente excluídos e puxar características de estudo em tabelas estruturadas. A dificuldade não é que as ferramentas falham.
O que os padrões fazem e não exigem
A declaração PRISMA 2020 exige que os revisores descrevam as fontes de informação, a estratégia de pesquisa, o processo de rastreamento e o processo de coleta de dados com detalhes suficientes para que outra pessoa repita a revisão. Se os pesquisadores usassem o ranking de IA de Rayyan ou um grande modelo de idioma para extrair tamanhos de efeitos, uma leitura rigorosa do item 9 e item 10 exigiria nomear a ferramenta, sua versão, o modelo em uso e o ponto em que um humano superou a máquina.
AMSTAR 2, o instrumento de qualidade de 16 itens para revisões sistemáticas de intervenções de saúde, pergunta sobre registro de protocolo, pesquisa abrangente e exclusões justificadas. Não pergunta se um modelo foi retrabalhado ou se os avisos foram salvos. Essa ausência importa porque as revisões sistemáticas cada vez mais alimentam diretrizes clínicas, avaliações de tecnologia de saúde e decisões de financiamento. Uma revisão que não pode ser reconstruída ainda pode ser útil; não é totalmente reproduzível no sentido que o método promete.
Quando um modelo está no loop, a trilha de auditoria muda
Uma revisão sistemática tradicional tem uma trilha de papel: cadeias de pesquisa, arquivos RIS exportados, formulários de rastreamento, planilhas extraídas. Uma revisão assistida por IA tem artefatos adicionais que são menos estáveis. Os pesos do modelo mudam. Os prospectos são editados às 11h antes de uma reunião. As plataformas online podem atualizar seus classificadores subjacentes sem que a equipe de revisão perceba.Lista de verificação do PRISMA 2020Assume métodos estáveis; os padrões de reprodutibilidade agora têm de assumir o contrário.
Na prática, uma equipe deve congelar quatro coisas antes do início do rastreio: a ferramenta e sua versão, o nome e a variante do modelo, a mensagem ou instrução do sistema e a regra de decisão para a reconciliação humana. Algumas plataformas mantêm um registro de pontuações de relevância; muitos não as exportam em um formulário vinculado ao ID de registro deduplicado. O problema do Dr. R não era que ela abusasse da ferramenta. O pedido da revista era razoável. Ela simplesmente não tinha artefato de saída que sobreviveu à limpeza.
Este não é um argumento contra o uso das ferramentas. Os ganhos de eficiência são reais, mas eles variam de acordo com o tamanho do corpo e pela quantidade de resolução de conflitos que uma equipe está disposta a fazer. Lojas que usam a triagem de máquina apenas para o título e a triagem abstrata geralmente relatam economizar entre um quarto e metade do esforço humano nessa fase.
Photo by Nahrizul Kadri on Unsplash
Os pontos de falha não estão onde as equipes esperam
A priorização de rastreamento raramente falha por classificação errada de estudos incluídos; falha por produzir pontuações que não podem ser interpretadas mais tarde. Os erros de extração de dados são mais visíveis. Um modelo pode transpor um desvio médio e padrão de uma tabela em que a ordem da linha muda, ou pode omitir um braço comparador porque o papel rotula grupos de tratamento por nome de marca em um parágrafo e por nome genérico em outro. Os revisores humanos também fazem esses erros, mas os humanos podem explicar o caminho que levou a um valor errado quando perguntado. Um modelo ainda não pode reconstruir o caminho que produziu o valor errado.
É por isso que o log override importa mais do que a pontuação do modelo. O log transforma a caixa preta em um registro de decisão: que registra o modelo classificado alto e a equipe excluída, que registra o modelo classificado baixo e a equipe incluída, e a razão de uma linha para cada reversão. Essas reversões são a parte mais informativa de qualquer revisão assistida por IA. Eles mostram onde o julgamento da máquina se desviou do julgamento clínico ou do assunto, e são a primeira coisa que uma auditoria de reprodutibilidade deve examinar.
Que revisões reproduzíveis assistidas por IA precisariam gravar
Um pacote mínimo de reprodutibilidade para uma revisão sistemática assistida por IA incluiria a versão do protocolo, as cadeias de pesquisa exatas, o conjunto de registros deduplicados, as decisões de triagem antes e depois da classificação da máquina, a versão do modelo e o arquivo prompt, e o log de sobreposição para qualquer registro onde um humano revertiu a classificação da máquina.
Cochrane tem sinalado cautela na orientação de métodos, geralmente tratando ferramentas automatizadas como aceitáveis para a priorização inicial, mantendo a verificação humana independente para a inclusão final.Manual do Cochranepermanece o ponto de referência para as revisões de intervenção, e sua abordagem é conservadora: a automação deve reduzir a carga de trabalho sem remover o controle humano em que as revisões sistemáticas dependem.
Para a extração de dados, as apostas são maiores.Um modelo de idioma grande pode ler de forma errada um intervalo de confiança, copiar uma etiqueta de braço da linha errada ou gerar um valor plausível que não apareceu na fonte.Ferramentas que apontam dados de pesquisae atualizadoAvaliações gerais em Peer ReviewO relatório de revisão sistemática ainda não produziu um conjunto equivalente de controlos específicos.
O que isso significa para o seu laboratório
A maioria das equipes de revisão que conheço já usam Covidence ou Rayyan para rastreamento; a lacuna não é a adoção, é a manutenção de registros. A correção não é um documento de política. É uma pasta de artefatos limpos que contém o protocolo, cadeias de pesquisa, IDs de registro deduplicados, dados extraídos e as saídas de modelo em cada etapa. Trate a ferramenta de IA como se fosse um instrumento de laboratório: registe o número de série, as configurações de calibração e quaisquer alterações no meio do experimento.
- Congele a versão do modelo e solicite antes da primeira sessão de rastreamento começar.
- Exportar pontuações atribuídas por máquina com o ID de registro, não como uma lista separada que não pode ser reenviada ao conjunto de dados.
- Mantenha um log de override timestamped sempre que um humano reverter uma decisão de inclusão ou exclusão de máquina, com uma razão de uma linha para cada reversão.
- Especifique na seção Métodos quais tarefas foram assistidas por máquina, qual modelo as fez e se o revisor humano poderia ver o rótulo da máquina antes de tomar uma decisão.
- Armazenar todos os arquivos em um repositório com um snapshot de versão no registro do protocolo, após o rastreamento e após a extração.
Um co-investigador uma vez considerou um exercício de esclarecimento de registros de 3,000 após uma consulta de jornal. O laboratório evitou isso apenas porque eles tinham salvo uma captura de tela da tela de decisão da ferramenta e um arquivo exportado de pontuações de relevância ligado a IDs de registro. Isso é o que as equipes padrão devem ter como alvo, não porque as revistas pedem com frequência, mas porque as consultas chegam depois que a memória de curto prazo do projeto desapareceu.
Photo by Markus Spiske on Unsplash
O próximo conjunto de perguntas que os jornais devem perguntar
Editores e revisores pares não podem avaliar o que os autores não divulgam.Uma lista de verificação complementar curta preencheria grande parte da lacuna: nomear a ferramenta de IA, nomear o modelo, declarar a versão do modelo, declarar se a ferramenta realizou o rastreamento, a extração ou ambos, e declarar se um humano verificou independentemente cada estudo incluído ou apenas uma amostra.Jornalizações que publicam sínteses de evidências poderiam adicionar essas perguntas ao seu formulário de apresentação sem esperar por uma revisão formal ao PRISMA.
As ferramentas também têm um papel. plataformas comoCovidência, Rayyan, EPPI-Reviewer e DistillerSR já acompanham algumas decisões de fluxo de trabalho, mas as exportações não são padronizadas em todas as plataformas. Uma exportação JSON portátil de decisões de triagem, pontuações de modelo e eventos de override resolveria grande parte do problema do Dr. R. Até que isso exista, as equipes precisam construir a etapa de exportação em seu próprio fluxo de trabalho, porque a plataforma não o fará de forma confiável em seu nome.
Comece com a próxima revisão que você começa. Abra um arquivo de protocolo, adicione uma seção intitulada log de assistência de máquina e registre a ferramenta, versão do modelo, prompt e regra de override antes de exibir o primeiro registro. Esse arquivo único pode ser a única coisa entre uma revisão enviada e um pedido de reprodutibilidade que você não pode responder.
- revisões sistemáticas
- reprodutibilidade da IA
- PRISMA 2020
- síntese de evidências
- integridade da investigação

