A Expansão da IA do Scopus Levanta Debate sobre a Precisão dos Acadêmicos e a Alucinação das Citações

Scopus AI é a camada de geração de IA da Elsevier construída em cima da citação do Scopus e da base de dados abstrata. Um usuário faz uma pergunta em linguagem natural; o sistema recupera registros relevantes do Scopus e os usa para fundamentar uma resposta escrita. A resposta chega com citações anexadas, o que faz com que seja lida como um briefing de literatura de um colega de laboratório. O problema é que as citações vêm de um resumo gerado, e o resumo é apenas tão confiável quanto o passo de recuperação que o alimentou.

O que é Scopus AI e como a expansão funciona

O Scopus AI começou como uma beta limitada em 2023 e tornou-se comercialmente disponível em janeiro de 2024. Elsevier descreve a ferramenta como se baseando em literatura revisada por pares indexada no Scopus, incluindo artigos, livros, papéis de conferência e revisões. As respostas geradas são acompanhadas por resumos de fonte para que os leitores possam passar do resumo ao texto original. Desde o lançamento, a empresa ampliou o conjunto de recursos, adicionando perguntas de acompanhamento e maneiras de explorar tópicos relacionados dentro de uma sessão de pesquisa.

Para as universidades subscritoras, a mudança prática é que o Scopus AI agora fica dentro de um banco de dados que muitos pesquisadores já usam. Isso reduz a barreira para a adoção. Um pesquisador que não abrisse uma ferramenta de IA separada tentará uma caixa de pesquisa que já esteja na página de descoberta da biblioteca.

Testes independentes e o problema da verificação de citação

O primeiro exame independente chegou antes que a implantação comercial chegasse à maioria dos campi.Uma revisão de janeiro de 2024 em The Scholarly Kitchenachou a ferramenta útil para a descoberta de tópicos amplos, mas advertiu que suas respostas dependem da cobertura do Scopus e exigem conhecimento do assunto para avaliar.Uma notícia de 2024 em NaturezaPesquisou ferramentas de pesquisa acadêmica de IA e relatou que diferentes sistemas perdem papéis conhecidos, referências de superfície fracas e lutam com trabalho interdisciplinar.Página do produto da Elseviermostra a exibição de citação de fonte e observa que os usuários devem consultar os resumos originais.

Uma citação alucinada é uma referência que parece completa, mas não corresponde a um documento real, recuperável. O DOI pode não resolver, ou pode resolver para um papel diferente. O erro pode ser pequeno: um autor errado, um número de volume trocado, um título fundido de dois abstratos, ou um DOI copiado de outro registro. Porque a prosa gerada é fluente, o erro passa pela leitura padrão.

O principal risco está concentrado em campos onde a cobertura do Scopus é mais fina ou onde a terminologia cruza disciplinas. Uma ferramenta pode recuperar um resumo de um campo adjacente e anexar uma citação plausível que um especialista nunca teria escolhido.

Isso cria um problema de taxa de base. A maioria das saídas é boa, mas um pesquisador que usa centenas de referências geradas sem verificar eventualmente importará um erro. Uma citação fabricada em uma proposta de subvenção ou manuscrito submetido pode desencadear uma consulta de integridade, e o resto do trabalho é lido sob suspeita. A exceção é o erro pego cedo por um especialista em assunto que conhece os periódicos esperados, autores, instituições e métodos. Essa exceção não é uma salvaguarda; é um argumento para tratar cada saída como não verificada.

O que isso significa para o seu laboratório

Um laboratório não precisa proibir o Scopus AI para torná-lo seguro.Ele precisa de uma rotina de verificação que acontece antes de qualquer referência entrar em um manuscrito.

• Coloque cada referência gerada no Crossref ou no resolvedor DOI do diário antes de armazená-la no seu gerenciador de referências.
• Abra as citações abstratas do Scopus AI, não apenas o resumo gerado.
• Deixe os pesquisadores do início da carreira trazer uma resposta gerada por IA para a reunião de grupo e verificá-la contra a literatura em voz alta, para que o hábito de verificar se torne público.
• Mantenha uma breve nota em sua wiki de laboratório sobre quais ferramentas de IA são permitidas para quais tarefas e quem avalia a saída antes da submissão.

Os editores estão lidando com o mesmo problema do lado do autor. Manuscritos foram encontrados para incluir referências que não correspondem a artigos reais, eSTM promove regras de divulgação em torno do uso de IAO padrão agora é visível em ambas as direções: ferramentas que geram citações e autores que importam essas citações sem verificar.

As instituições estão ensinando verificação, não proibição

As bibliotecas universitárias estão cada vez mais adicionando o Scopus AI às sessões de instrução, em parte porque os alunos já o estão usando.Uma bibliotecária de apoio à pesquisa em uma grande universidade do Reino Unido me disse que seu slide padrão agora lê: Scopus AI é um ponto de partida, não uma fonte.

Essa abordagem pragmática combina ondeJornal Políticas em Generative AIEm vez de proibir a IA geradora, os editores estão pedindo aos autores para revelar como eles a usaram e para confirmar que eles verificaram as citações.O pressuposto de trabalho é que a divulgação mais verificação é mais forte do que a proibição direta, porque a proibição impulsiona a prática subterrânea.

O Scopus AI provavelmente se tornará uma parte padrão dos fluxos de trabalho de descoberta antes que seu problema de precisão seja totalmente resolvido. Isso não torna a ferramenta inutilizável. Isso torna o trabalho do usuário mais longo por um passo. A próxima vez que você executar uma consulta do Scopus AI, copie a primeira citação que o excita para o Crossref ou a própria página do editor e confirme que ela existe. Se não, diga ao seu bibliotecário. Esse hábito único, repetido por laboratórios suficientes, é o que transformará o debate sobre alucinações de citação em uma mais estreita sobre casos de borda.

Photo by Brett Jordan on Unsplash