O primeiro pânico sobre a IA em submissões de manuscritos envolveu imagens.Então foram inventadas referências.Os editores ainda estão pegando em ambos, mas o problema de integridade mais recente é mais silencioso: grandes modelos de linguagem estão gerando listas de referência plausíveis, estrategicamente empilhadas, e cada DOI não resolvido silenciosamente reforma o registro de citação de um pesquisador.
A STM, a associação comercial internacional para editores científicos, técnicos e médicos, passou os últimos anos construindo infraestrutura para esse tipo de manipulação.O Integrity Hub da associação compartilha sinais entre editores participantes, e sua iniciativa United2Act coordena a ação contra as fábricas de papel.As últimas discussões de integridade entre os membros da STM passaram de capturar atores ruins individuais e para tratar listas de referência como um fluxo de dados que pode ser jogado como qualquer outro.
Citation padding é velho; industrializar é novo
O empilhamento de citações e os anéis de citação antecedem a IA geradora por décadas. Os editores foram pegos pedindo citações próprias. Grupos de autores negociaram citações para inflar índices h. O que mudou é o custo unitário. Um chatbot pode produzir vinte referências em segundos, misturando autores reais, revistas reais, DOIs plausíveis, mas incorretos, e contagens de citações que parecem orgânicas, mas não são. Algumas saídas são fabricações puras. Um subconjunto mais perigoso inclui artigos reais atribuídos ao autor errado ou ao ano errado, o que derrota uma simples pesquisa DOI porque o DOI existe e aponta em algum lugar.
O mesmo modo de falha atingiu os tribunais em 2023, quando dois advogados de Nova York foram ordenados a pagar US $ 5.000 em dinheiro.Mata em Aviancaapós a apresentação de breves contendo casos inventados pelo ChatGPT. Manuscritos acadêmicos raramente produzem que instantaneamente uma sanção. O erro subjacente é o mesmo: a máquina fornece uma autoridade plausível e os arquivos humanos sem verificá-lo. A revisão por pares não é um tribunal, mas é a porta principal entre uma bibliografia gerada por IA e o registro permanente.
Aqui está a captura
A captura não é que a IA ocasionalmente alucina uma referência. A captura é que uma grande parte da avaliação de pesquisa não tem razão para notar. Uma citação é tratada como uma unidade de influência. Se uma citação fabricada ou forçada persiste em um papel indexado, um perfil do Google Scholar, um repositório institucional ou um servidor de pré-impressão, os agregadores a jusante o contam. O pesquisador citado não fez nada de errado, mas suas métricas melhoram. O perfil de citação da revista melhora ligeiramente. Se suficientes tais citações se acumulam, um fator de impacto da revista pode se mover. Todo mundo com uma participação nesse número tem um incentivo para não interrogar a bibliografia muito de perto.
Um pesquisador de início de carreira que verifica manualmente cada referência está, portanto, competindo contra uma máquina de inflação automatizada em métricas de contratação, pontuação de subsídios e sistemas de avaliação de pesquisa.O problema de integridade é um problema de editor e um problema de trabalho: o estudioso cuidadoso paga no tempo, enquanto o escritor descuidado ou cínico não paga nada.
O que os jornais estão realmente navegando
Os editores têm tido ferramentas de correspondência de texto há anos.Verificação de semelhança do CrossrefA camada mais recente é a verificação de metadados: o DOI existe, resolve-se com o papel descrito, a fonte foi retraída e a citação se encaixa na alegação que apoia.Muitos sistemas editoriais agora executam esses controles na submissão, embora a adoção permaneça desigual em revistas da pequena sociedade e grandes editores comerciais.
OBase de dados Retraction Watchtornou-se uma tela secundária comum.Algumas revistas agora bandeiras citações para jornais retraídos, embora as políticas variam.Introdução ao STM Integrity HubÉ destinado a tornar esses sinais portáteis entre editores, de modo que uma revista que identifica um anel de citação possa compartilhar o padrão sem esperar por uma retração para ser publicada meses depois.
Por que esta terra em comissões de recrutamento
A integridade do manuscrito parece um problema editorial até que um comitê de pesquisa de pesquisa ou pesquisa de pesquisa abra um currículo. Um candidato com um registro de publicação altamente citado pode parecer mais forte do que um colega com saída semelhante e menos citações. O manipulador de citação automatizado não precisa tocar os próprios papéis do candidato. Ele só precisa citá-los. Em sistemas de avaliação de alto volume, as contagens de citação infladas se tornam um proxy para visibilidade, e a visibilidade pode ultrapassar o trabalho subjacente. A prática é mais antiga do que a IA, mas a escala mudou.
Os departamentos focados no ensino que usam métricas de citação como um sinal em uma revisão de portfólio mais ampla estão igualmente expostos, porque as citações infladas tendem a agrupar-se em torno de um pequeno número de artigos fortemente escritos.
A préviaRelatório do AcademicJobs sobre a indexação de revistasfez um ponto relacionado: onde um artigo aparece não é uma garantia de qualidade. Nem é o número de vezes que é citado. Os dois problemas se fundem quando os manuscritos gerados por IA encaixam suas bibliografias com citações para papéis reais, talvez irrelevantes, então essas citações alimentam perfis que os comitês de contratação lêem em minutos. Para qualquer pessoa que se candidate a trabalho acadêmico permanente, um registro de citação não verificável é agora uma responsabilidade mesmo quando parece flattering.Pesquisa acadêmica, mostrou o que acontece quando a saída de moinho de papel se espalha antes que a detecção atinja.
O que fazer com uma lista de referências gerada
Os autores, revisores, editores e oficiais de integridade de pesquisa devem tratar qualquer lista de referência assistida por IA como um projeto de alegações sobre a literatura, não um registro acabado.
- Verifique cada DOI contra a página do editor ou Crossref, não apenas a página de resolução.
- Um resumo de uma frase de um chatbot não é o mesmo que ler os métodos, e é o lugar mais comum para uma citação errada para esconder.
- Procure na Base de Dados Retraction Watch para qualquer referência com um histórico de retração, especialmente para artigos em artigos de revisão ou revisões sistemáticas.
- Registre o uso da IA na seção de cartas ou métodos.Muitas revistas seguemcopoorientação que requer divulgação quando as ferramentas de IA sugerem, organizam ou formatam referências.
Quando uma entrada bibliográfica vive em Zotero, EndNote, ou uma ferramenta semelhante, os metadados de origem são separados da prosa, o que torna mais difícil para uma referência alucinada deslizar como um bloco colado.
A resposta do pesquisador
A atualização do STM é importante porque trata o comportamento de citação como um sinal de integridade. Mas as ferramentas raramente corrigem estruturas de incentivo por conta própria. Um checker de referência pega um DOI falso. Ele não pega uma citação real, mas irrelevante, e não impede um comitê de contratação de tratar as citações brutas como um proxy para a realização.
A resposta do pesquisador é parar de assumir que qualquer lista de referência é inocente. Leia a bibliografia da maneira que você lê os métodos. Verifique a existência da fonte, a precisão da reivindicação e o status de retração. Se uma máquina gera a lista, a obrigação humana de verificá-la cresce, não encolhe. Uma lista de referência é uma reivindicação sobre o que existe. O editor pode marcar o mau DOI. O pesquisador tem que viver com um registro de citação que significa algo.
Photo by Markus Winkler on Unsplash