Les normes de reproductibilité des revues systématiques alimentées par l'IA sont en retard par rapport aux outils

Les critiques systématiques sont vendues sur la reproductibilité. La déclaration PRISMA 2020, la norme de reporting du domaine, passe par 27 éléments de liste de vérification et ne dit rien sur les grands modèles de langue, les algorithmes de priorisation de dépistage ou l'extraction automatisée des données. Un collègue que j'appellerai Dr. R a trouvé la lacune de la manière la plus difficile quand un journal a demandé les scores de pertinence attribués par le modèle derrière son écran d'enregistrement 6.000. Elle avait la dernière liste incluse. Le journal voulait les scores.

Les outils sont déjà en usage de routine. Covidence, Rayyan, EPPI-Reviewer, DistillerSR, et un ensemble croissant de pipelines internes offrent désormais une forme de dépistage ou d'extraction assistée par machine. Les chercheurs les utilisent pour classer les citations, marquer les enregistrements probablement exclus, et tirer les caractéristiques de l'étude dans des tables structurées. La difficulté n'est pas que les outils échouent. Les critiques ne peuvent souvent pas montrer ce que le modèle a fait, et c'est le problème de reproductibilité.

Ce que les normes demandent et ne demandent pas

La déclaration PRISMA 2020 exige que les critiques décrivent les sources d'information, la stratégie de recherche, le processus de dépistage et le processus de collecte de données avec suffisamment de détails pour que quelqu'un d'autre puisse répéter l'examen. Si les chercheurs utilisaient le classement de l'IA de Rayyan ou un grand modèle de langue pour extraire les tailles d'effet, une lecture rigoureuse des points 9 et 10 nécessiterait de nommer l'outil, sa version, le modèle utilisé et le point où un humain a surmonté la machine.

AMSTAR 2, l'instrument de qualité de 16 éléments pour les révisions systématiques des interventions de soins de santé, demande l'enregistrement du protocole, la recherche complète et les exclusions justifiées. Il ne demande pas si un modèle a été reconstruit ou si des promesses ont été sauvegardées. Cette absence est importante parce que les révisions systématiques alimentent de plus en plus les lignes directrices cliniques, les évaluations des technologies de la santé et les décisions de financement.

Lorsqu'un modèle est dans la boucle, la piste d'audit change

Une revue systématique traditionnelle a une trace de papier: chaînes de recherche, fichiers RIS exportés, formulaires de dépistage, feuilles de calcul extraites. Une revue assistée par l'IA a des artefacts supplémentaires qui sont moins stables. Les poids des modèles changent. Les prompts sont édités à 11 heures avant une réunion. Les plateformes en ligne peuvent mettre à jour leurs classificateurs sous-jacents sans que l'équipe de revue ne s'en aperçoive.Liste de vérification PRISMA 2020Il suppose des méthodes stables ; les normes de reproductibilité doivent maintenant supposer le contraire.

En pratique, une équipe devrait geler quatre choses avant le début du dépistage: l'outil et sa version, le nom et la variante du modèle, la prompt ou l'instruction du système, et la règle de décision pour la réconciliation humaine. Certaines plates-formes gardent un enregistrement des scores de pertinence; beaucoup ne les exportent pas sous une forme liée à l'ID de disque déduplicé. Le problème du Dr R n'était pas qu'elle ait abusé de l'outil. La demande du journal était raisonnable.

Ce n'est pas un argument contre l'utilisation des outils. Les gains d'efficacité sont réels, mais ils varient en fonction de la taille du corps et de la quantité de résolution des conflits qu'une équipe est prête à faire. Les magasins qui utilisent le tri automatique uniquement pour le titre et le dépistage abstrait rapportent souvent une économie entre un quart et la moitié de l'effort humain dans cette phase. Ce gain disparaît si l'équipe doit redémarrer l'écran plus tard pour satisfaire une requête de reproductibilité, ce qui est exactement ce qui arrive aux équipes qui ne conservent pas les sorties de modèle.

Photo by Nahrizul Kadri on Unsplash

Les points d'échec ne sont pas là où les équipes les attendent

La priorisation du dépistage échoue rarement en classifiant mal les études inclus; il échoue en produisant des scores qui ne peuvent pas être interprétés ultérieurement. Les échecs de l'extraction de données sont plus visibles. Un modèle peut transposer une déviation moyenne et standard d'une table dans laquelle l'ordre de la ligne change, ou il peut omettre un bras comparateur parce que le papier étiquette les groupes de traitement par nom de marque dans un paragraphe et par nom générique dans un autre.

C'est pourquoi le journal d'excursion compte plus que le score du modèle. Le journal transforme la boîte noire en un enregistrement de décision: qui enregistre le modèle classé haut et l'équipe exclue, qui enregistre le modèle classé bas et l'équipe incluse, et la raison d'une ligne pour chaque inversion. Ces inversions sont la partie la plus informative de tout examen assisté par l'IA. Ils montrent où le jugement de la machine s'est écarté du jugement clinique ou de la matière, et ils sont la première chose qu'un audit de reproductibilité devrait examiner.

Quelles évaluations assistées par l'IA reproduisables auraient besoin d'enregistrer

Si les journaux sont sérieux sur la reproductibilité dans la synthèse des preuves, le cadre de déclaration doit s’accroître.Un paquet de reproductibilité minimal pour une revue systématique assistée par l’IA comprendra la version du protocole, les chaînes de recherche exactes, l’ensemble des enregistrements déduplicés, les décisions de dépistage avant et après le classement de la machine, la version du modèle et le fichier prompt, et le journal d’enregistrement pour tout enregistrement où un humain a inversé la classification de la machine.

Cochrane a signalé une prudence dans la guidance des méthodes, traitant généralement les outils automatisés comme acceptables pour la priorisation initiale tout en conservant la vérification humaine indépendante pour l'inclusion finale.Le manuel CochraneIl reste le point de référence pour les révisions d’intervention, et son approche est conservatrice : l’automatisation devrait réduire la charge de travail sans enlever le contrôle humain sur lequel reposent les révisions systématiques.

Pour l'extraction de données, les enjeux sont plus élevés.Un grand modèle de langue peut mal lire un intervalle de confiance, copier une étiquette de bras de la mauvaise rangée ou générer une valeur plausible qui n'apparaît pas dans la source.outils qui drapeau doctorat données de rechercheet mise à jourPolitiques sur l'IA générative en revue par les pairsLe rapport d'examen systématique n'a pas encore produit un ensemble équivalent de contrôles spécifiques.

Ce que cela signifie pour votre laboratoire

La plupart des équipes de révision que j'ai rencontrées utilisent déjà Covidence ou Rayyan pour le dépistage; l'écart n'est pas l'adoption, c'est la tenue de dossiers. La correction n'est pas un document de politique. Il s'agit d'un dossier d'objets propres qui contient le protocole, les chaînes de recherche, les identifiants de dossiers déduplicés, les données extraites et les sorties de modèle à chaque étape. Traitez l'outil d'IA comme vous le feriez avec un instrument de laboratoire: enregistrez le numéro de série, les paramètres de calibrage et tout changement au milieu de l'expérience.

• Congelez la version du modèle et demandez avant le début de la première séance de dépistage.
• Exporter les scores attribués par machine avec l'ID de l'enregistrement, pas comme une liste distincte qui ne peut pas être rejointe à l'ensemble de données.
• Gardez un journal de surride timestampé chaque fois qu'un humain renverse une décision d'inclusion ou d'exclusion de la machine, avec une raison d'une ligne pour chaque renversement.
• Indiquez dans la section Méthodes quelles tâches ont été assistées par machine, quel modèle les a effectuées et si l'examinateur humain pouvait voir l'étiquette de la machine avant de prendre une décision.
• Stockez tous les fichiers dans un dépôt avec une capture d'écran de version lors de l'enregistrement du protocole, après le dépistage et après l'extraction.

Un co-enquêteur a considéré une fois un exercice de clarification de 3000 enregistrements après une requête de journal. Le laboratoire l'a évité seulement parce qu'ils avaient enregistré une capture d'écran de l'écran de décision de l'outil et un fichier exporté de scores de pertinence liés aux ID d'enregistrement. C'est ce que les équipes standard devraient viser, non pas parce que les journaux demandent souvent, mais parce que les requêtes arrivent après que la mémoire à court terme du projet ait disparu.

Photo by Markus Spiske on Unsplash

La prochaine série de questions que les journaux devraient poser

Les rédacteurs et les évaluateurs ne peuvent pas évaluer ce que les auteurs ne divulguent pas. Une courte liste de vérification complémentaire couvrirait une grande partie de l'écart: nommer l'outil d'IA, nommer le modèle, déclarer la version du modèle, déclarer si l'outil a effectué le dépistage, l'extraction ou les deux, et déclarer si un humain a vérifié indépendamment chaque étude incluse ou seulement un échantillon.

Les outils ont également un rôle. plateformes telles queLa conscience, Rayyan, EPPI-Reviewer et DistillerSR suivent déjà certaines décisions de flux de travail, mais les exportations ne sont pas standardisées sur les plateformes. Une exportation JSON portable de décisions de dépistage, de scores de modèle et d'événements de surride résoudrait une grande partie du problème du Dr. R. Jusqu'à ce que cela existe, les équipes doivent construire l'étape d'exportation dans leur propre flux de travail, car la plateforme ne le fera pas de manière fiable pour eux.

Commencez par la prochaine revue que vous commencez.Ouvrez un fichier de protocole, ajoutez une section intitulée journal d'assistance automatique et enregistrez l'outil, la version du modèle, l'invitation et la règle de suppression avant d'afficher le premier enregistrement.Ce fichier unique peut être la seule chose entre une revue soumise et une demande de reproductibilité que vous ne pouvez pas répondre.