Enquanto a avaliação da pesquisa depende de listas, estudiosos, bibliotecários e administradores assumiram que a presença de um título em um banco de dados seletivo significa que a própria revista passou por um teste de qualidade.
O equívoco tem custos práticos.Os autores escolhem um local porque ele é listado como indexado sem perguntar qual índice e o que esse índice examinou.Os leitores tratam um artigo em um banco de dados confiável como validado.Os gerentes de pesquisa contam o papel como uma unidade completa de qualidade.Os bibliotecários adicionam o título a uma lista assinada na mesma suposição, e os financiadores às vezes usam a classificação como um limiar de elegibilidade.
Uma maneira útil de ver a distinção é observar o que acontece quando um índice corrige sua própria lista. Em março de 2023, a Clarivate removeu 82 revistas da Web of Science Core Collection após uma reavaliação, a maioria delas porque já não satisfazem os critérios de qualidade. As remoções não significavam que cada papel nessas revistas era fraco. Eles significavam que a decisão de admissão é condicional, monitorada e reversível. Isso é o comportamento de um mecanismo de rastreamento, não um selo permanente.
O que um índice realmente verifica - e o que não
Scopus, Web of Science, DOAJ e muitos bancos de dados específicos de disciplinas funcionam como listas de títulos curados. Uma revista aplica, submete documentação e aguarda uma revisão de seu conselho editorial, políticas de revisão por pares, regularidade de publicação, declarações de ética e padrões técnicos. Scopus dirige aplicações através de sua Seleção de Conteúdo e Conselho Consultivo. Web of Science aplica um conjunto publicado de critérios de qualidade antes de qualquer análise de impacto de citação. DOAJ exige que uma revista identifique seus editores, descreva seu processo de revisão, declare sua licença de acesso aberto e atenda aos padrões de transparência editorial. Um artigo individual não passa por nenhum desses órgãos de revisão.
Essa é a confusão central. Os indexadores inspecionam o contêiner, não o conteúdo. Um diário com um painel legítimo e um processo de revisão duplo-cego declarado ainda pode aceitar um estudo com metodologia fraca, conflitos não declarados, relatórios seletivos ou resultados que falham na replicação.
Um exemplo da medicina torna a distinção concreta.O PubMed inclui citações do MEDLINE, o índice seletivo da Biblioteca Nacional de Medicina, mas também contém registros do PubMed Central e outros arranjos de depósito.Um artigo no PubMed não é automaticamente um artigo indexado pelo MEDLINE, e estar listado no PubMed não significa que as conclusões clínicas do estudo tenham sido verificadas.A Biblioteca Nacional de Medicina explica essas diferenças em detalhesSaber qual registro você está olhando para mudanças que a listagem pode provar.
Por que os índices mais fortes ainda importam
Nada disso torna a indexação inútil. Um índice seletivo filtra uma grande massa de títulos sem nenhuma supervisão editorial evidente. Para um leitor confrontado com uma revista desconhecida, uma entrada Scopus ou DOAJ é evidência de que alguém fora do editor inspecionou sua estrutura formal. Os bibliotecários usam essas listas para alocar orçamentos. Os autores usam-nas para evitar locais que possam desaparecer depois de um problema. Os leitores usam-nas para localizar metadados, citações, resumos e links de texto completo.
Em partes da América Latina, SciELO e Latindex desempenharam um papel de rastreamento semelhante para revistas regionais que os índices comerciais ignoraram há muito tempo.Guia de Aplicação do DOAJNão se segue, no entanto, que uma lista DOAJ não lhe diz nada; diz-lhe que a revista atingiu uma linha de base que muitos títulos não têm.
Os limites dos indicadores baseados em citações
Uma vez que uma revista entra na Web of Science ou Scopus, torna-se elegível para métricas de citação. O Impact Factor e CiteScore são médias de nível de revista de citações recebidas ao longo de um período definido. Eles foram projetados como ferramentas de gerenciamento de coleção e padrão de citação, não como veredictos em um artigo específico. Uma única revisão altamente citada pode elevar a métrica de uma revista, enquanto muitos outros artigos no mesmo título atraem pouca atenção, e as normas de citação diferem enormemente entre a física e a história medieval.
A Declaração de San Francisco sobre Avaliação da Pesquisa, conhecida como DORA e publicada em 2012, coleta as objeções contra o uso de métricas de nível de revista como um proxy para a qualidade da pesquisa individual. DORA não diz que os dados de citação são sem sentido.Declaração que vale a pena lerporque separa o que uma métrica mede do que um comitê de promoção quer que isso signifique.
O que a ausência de um índice não prova
Assim como a inclusão não é um veredicto de qualidade, a ausência não é evidência de fracasso. Uma nova revista pode precisar de várias questões antes que a Scopus ou a Web of Science a considerem. Uma pequena sociedade acadêmica pode não ter a capacidade administrativa para completar uma aplicação. Uma revista em uma língua regional pode ser bem executada e ter uma forte revisão por pares enquanto aparece apenas em um diretório local como Latindex, Redalyc ou uma plataforma apoiada pelo INASP. Os índices comerciais expandiram sua cobertura, mas seus catálogos permanecem um subconjunto da produção acadêmica global, não um mapa completo do que merece ser lido.
A confusão reversa é comum no acesso aberto. Um título pode anunciar que está listado no Google Scholar ou incluído em um diretório sem critérios de seleção pública. O Google Scholar rastreia grande parte da web; a inclusão é um ato de colheita, não uma revisão de qualidade.Think Check Submit Iniciativasugere que os autores verificem as alegações de uma revista através da lista própria da base de dados em vez do site da revista. Uma alegação que não pode ser confirmada no diretório é um sinal de aviso, independentemente da página de destino do editor.
Como ler as reivindicações de indexação de uma revista
Quando uma revista diz que está indexada, a resposta útil é fazer quatro perguntas: qual índice, quem seleciona para ele, é a corrente de listagem, e o que exatamente o seletor verificou?
- Peça o banco de dados exato. Scopus, Web of Science Core Collection, MEDLINE e DOAJ têm critérios públicos e revisão ativa. motores de busca gerais e arquivos auto-mantidos não são equivalentes.
- Verifique diretamente a base de dados. Se uma revista reivindica a inclusão do Scopus, procure pelo Scopus. Se reivindica a inclusão do DOAJ, confirme-a no diretório do DOAJ. O site próprio da revista é a fonte menos confiável de informações sobre o seu status.
- Um conselho editorial independente, membros nomeados com afiliações verificáveis, um modelo de revisão por pares declarado, um cronograma de publicação claro e um editor com uma política de retirada são mais informativos do que uma longa fila de logotipos de índice.
- Procure por retrações, expressões de preocupação e editoriais sobre a revista. Um título que foi excluído de um índice importante ainda pode listar o status excluído em material promocional mais antigo.
Estes controles levam minutos, não horas.Eles não substituem a experiência do assunto, mas evitam o erro mais comum: tratar uma classificação administrativa como uma conclusão científica.
O hábito institucional que mantém o equívoco vivo
Os sistemas de pesquisa em vários países associam aumentos de salário, elegibilidade para promoção, acreditação nacional ou elegibilidade de financiamento de pesquisa para publicação em revistas listadas em um ou dois bancos de dados nomeados. A intenção é criar uma medida comparável, escalável. Ele funciona em escala: um avaliador pode contar artigos da Web of Science sem lê-los. O compromisso é que o sistema recompensa a classificação, não necessariamente a contribuição.
Isso não é um argumento contra o uso de índices na avaliação. É um argumento para lembrar o que o índice verificou. Uma política que trata cada artigo indexado como automaticamente igual a cada outro artigo indexado substituiu o julgamento por um atalho administrativo. O atalho é às vezes defensível; raramente é preciso. O desafio é projetar sistemas de avaliação que usem a indexação como um pedaço de evidência entre vários, em vez de como o caso inteiro.
As remoções do Clarivate de 2023 estabelecem um precedente que será testado na próxima década. Quando um grande índice admite que deve remover periodicamente títulos, é reconhecendo os limites da garantia que os usuários querem que ele forneça. A questão aberta é se as universidades, financiadores, pesquisadores e editores vão construir sistemas de avaliação que compartilhem essa honestidade, ou se eles vão continuar a tratar a lista como o julgamento.
Photo by Nubelson Fernandes on Unsplash
