At a glance
Des études de Stanford, du MIT et de BCG montrent quand le travail manuel surpasse les résultats assistés par l'IA et quand les équipes hybrides surpassent les deux. Voici comment choisir la bonne approche.
Un responsable de produit que j’appellerai Priya a passé un vendredi à supprimer un plan de lancement écrit par l’IA. L’outil a livré neuf pages en moins de quatre minutes – une chronologie, un plan de messagerie et une matrice de risque construite à partir de chiffres que le modèle avait inventés.
Chaque équipe est désormais confrontée au même disque. Mettez-le au manuel et vous laissez la vitesse sur la table. Mettez-le à l'IA complète et vous héritez de nonsense fluide vêtue de travail fini. Mettez-le à l'hybride et vous atteignez la vraie question: quelles étapes vont à la machine, et qui vérifie quoi?
Les preuves des essais contrôlés, plutôt que les critères de référence des fournisseurs, indiquent une direction. Pour la plupart des travaux de connaissances, une approche hybride - une direction humaine tandis que l'IA exécute le milieu répétitif - bat à la fois la pure manualité et l'automatisation pure.
Les taux de base derrière le marketing
Dans un essai randomisé de 95 programmeurs professionnels, les développeurs utilisant GitHub Copilot ont terminé une tâche de codage de 55,8 % plus rapidement qu'un groupe de contrôle. Un essai randomisé séparé de 4 867 développeurs à travers Microsoft, Accenture et d'autres grands employeurs a révélé que les utilisateurs de Copilot ont terminé 26 % de demandes de tirage de plus par semaine. Dans une expérience de terrain avec 758 consultants du Boston Consulting Group, les personnes utilisant GPT-4 ont terminé 12,2 % de tâches de plus et travaillé 25,1 % de plus vite, avec des évaluateurs humains notant la qualité de 40 % plus élevé - mais uniquement sur des tâches dans la limite de capacité du modèle.
Sur un problème de stratégie complexe choisi pour s'asseoir juste en dehors de cette limite, les mêmes consultants étaient 19 points de pourcentage moins susceptibles d'atteindre la solution correcte que les collègues sans IA du tout.
L’IA générative décrit les systèmes – grands modèles de langues, ou LLM, le principal parmi eux – qui produisent du texte, du code et d’autres contenus à partir d’un prompt. Un LLM prédit le token suivant le plus plausible, c’est pourquoi il sonne autoritaire même quand il est faux.
Un développeur que j'appellerai Sam l'a appris sur une base de code mature. Il s'attendait à une accélération de 24% d'un assistant de codage d'IA; son stopwatch a montré le contraire. Dans un essai randomisé de 2025 par le METR à but non lucratif, 16 développeurs open-source expérimentés sur 246 tâches réelles ont pris 19% de plus avec l'IA que sans, alors qu'ils croyaient que l'outil les avait rendus 20% plus rapides. Les trois quarts des participants étaient plus lents individuellement.
Ensuite, il y a l’autre côté des preuves. Une étude de 5 179 agents de soutien à la clientèle d’une société de logiciels Fortune 500 a révélé qu’un assistant de chat d’IA augmentait la productivité d’environ 14% en moyenne, les gains étant concentrés parmi les nouveaux recrues. Un agent de deux mois utilisant l’outil se comportait comme un agent de six mois sans lui.
Couplez-les ensemble et le taux de base ressemble à ceci: le travail assisté par l'IA accélère de manière fiable les tâches répétitives et bien définies produites en volume, en particulier pour les personnes moins expérimentées, et ralentit de manière fiable le travail nouveau ou ambigu avec un contexte lourd, en particulier pour les experts qui connaissent déjà la réponse et doivent vérifier la version de la machine.
Combien coûte l’automatisation complète
Une étude de 2025 de Stanford et Carnegie Mellon a comparé 48 travailleurs professionnels avec quatre cadres d'agents de premier plan sur 16 tâches multi-étapes réalistes tirées du travail couvrant environ 72 pour cent des professions utilisant l'ordinateur aux États-Unis.
La qualité s'est effondrée. Les agents ont obtenu 32,5 à 49,5 points de pourcentage de moins que les humains travaillant seuls, et le taux d'erreur sur les tâches d'analyse de données a atteint 37,5 pour cent. Quand un agent ne pouvait pas lire un nombre à partir d'une image de reçu, il a parfois inventé une figure plausible.L'article complet sur arXivLes agents de documents remplaçant des sources non autorisées et fabriquant des données au lieu d'admettre une étape a échoué.
L'attribution d'un flux de travail complet à un agent ralentit le travail de 17,7% une fois que la vérification et le débogage ont été comptés, tandis que l'augmentation d'un flux de travail humain avec l'IA à des étapes spécifiques l'a accéléré de 24,3%.
Le mode d'échec était la délégation sans points de contrôle - une approbation humaine à la fin d'un processus qu'ils n'ont pas observé, héritant des erreurs qu'ils ont ensuite dû auditer un par un.
Photo by Brett Jordan on Unsplash
Quand le manuel gagne
La hallucination est le terme pour une sortie d'IA qui est fluide et plausible mais erronée. Ce n'est pas un cas rare. Le plus récent Stanford AI Index, qui a mesuré 26 modèles de premier plan sur un critère de factualité, a trouvé des taux d'hallucination et d'erreur entre 22 et 94 pour cent en fonction du modèle et de la tâche. Les meilleurs systèmes sont situés dans les bas chiffres uniques sur la résumation fondée, où le modèle est limité à un document fourni; sur la génération de faits ouverte, le sol est beaucoup plus élevé.
Ce spread est le taux de base pour la décision manuelle. Le manuel gagne lorsque le coût d'une phrase erronée est élevé et que le volume est faible - un dépôt réglementaire, un changement de permission d'accès, un tableau de prix ou une liste de vérification de sécurité. Il gagne également lorsque la tâche est véritablement nouvelle, car l'originalité est exactement ce qu'un moteur de prédiction ne produit pas.
Le résumé MIT Sloan de cette étudeIl s’agit d’un problème de limite : à l’intérieur de la frontière, les humains ajoutent peu ; à l’extérieur, l’IA fait mal activement.La compétence pratique n’est pas l’ingénierie rapide.Il s’agit de localiser la frontière pour chaque livrable avant de commencer, et de la vérifier à nouveau à mesure que les modèles changent.
Le même modèle explique qui bénéficie.l'essai du centre d'appels décrit par Stanford et MITPour un spécialiste expérimenté qui fait du travail de jugement, l’outil est une deuxième opinion avec laquelle ils doivent se disputer – utile comme liste de vérification, pas comme auteur.
Lire le projet avant de choisir
Une décision de cette conséquence mérite une liste de vérification. j'utilise un construit à partir des modes d'échec ci-dessus, demandé dans l'ordre.
- Quel est le volume, et combien sont répétitifs les étapes?La répétition en volume favorise la machine; le travail personnalisé unique ne le fait pas.
- Que coûte une phrase erronée?Si une erreur est bon marché à attraper et à corriger, automatiser plus.Si elle déclenche une évaluation de la conformité ou perd un client, garder un humain sur la revendication finale.
- La sortie peut-elle être vérifiée mécaniquement ?Le code compile ou échoue ; un mémo de stratégie ne le fait pas.Les sorties vérifiables tolèrent plus d'automatisation.
- Si une personne signe le livrable, cette personne doit voir chaque revendication générée par la machine avant qu'elle ne soit expédiée.
Un point de données adjacent au fournisseur vaut la peine d'être inclus car il teste la revendication hybride contre le travail rémunéré.Indice de productivité humaine + agentL’étude, menée sur plus de 300 projets de clients réels, a révélé que l’association d’agents de l’IA avec des critiques humains experts augmentait les taux d’achèvement du projet de jusqu’à 70 pour cent par rapport aux agents travaillant seuls.
Le problème de mesure coupe les deux voies.Simon Willison sur le procès METRnote que les auto-rapports des développeurs et leurs stopwatches sont en désaccord d'environ 40 points - les gens se sentaient plus rapides tout en étant plus lents. Lient toute option d'approche à une métrique dont vous avez déjà confiance: temps de conduite, taux d'erreur, heures de réemploi ou articles expédiés.
| Approche | Le mieux quand | Regardez pour | Exemple |
|---|---|---|---|
| manuelle | Volume faible, taux élevé, nouveauté, responsabilité | Formats lents et incohérents | Réponse réglementaire ou décision de prix |
| Aide à | Des projets volumineux, vérifiables et répétitifs | Erreurs de masquage de fluidité et sortie homogénéisée | Notes de réunion, code de premier passage, projets de FAQ, résumés de publication |
| Hybride | Travaux multi-étapes mélangeant jugement et exécution | Unclear handoffs et des critiques de rubber-stamp | Analyse des données ou plan de lancement |
Ce que cela signifie pour votre projet
Arrêtez de choisir une approche au niveau du projet et commencez à la choisir au niveau de l'étape. Un plan de lancement n'est pas une tâche, c'est une trentaine. La recherche continue de revenir à cela parce que les échecs continuent de revenir à elle. L'automatisation complète d'un flux de travail entier a ajouté 17,7 pour cent au niveau de la vérification dans le travail de Stanford-Carnegie Mellon, tandis que l'augmentation au niveau de l'étape a réduit 24,3 pour cent du travail similaire.
- Mappez le flux de travail en étapes avant de toucher un outil et marquez chaque étape comme programmable ou jugement.
- Assignez des étapes programmables au modèle, mais gardez les premières et dernières étapes humaines : une personne définit le problème et une personne signe le résultat.
- Écrivez une règle de vérification pour chaque étape de l'IA. Qui vérifie cela, contre quelle source, avant de continuer?
- Suivez une mesure de vitesse et une mesure de qualité dès le départ.La vitesse sans taux d'erreur est la façon dont les équipes dérivent dans l'illusion de 19% de Sam.
Les chercheurs du BCG ont nommé deux styles de travail qui ont dépassé le reste: les centaures, qui divisent le travail et déléguent des étapes entières au modèle, et les cyborgs, qui interleave avec l'IA au milieu de la tâche. Les deux sont hybrides; la différence est la granularité. déléguer des étapes entières lorsque la frontière entre elles est claire. Interleave lors de l'écriture ou de l'analyse bénéficie du modèle étant dans la boucle que vous allez.
La responsabilité n'est pas transférée au modèle. Une équipe qui transporte la production d'IA sous un nom humain sans examen humain a déplacé l'erreur de la machine à la personne sans déplacer les connaissances.
Photo by Brett Jordan on Unsplash
Commencez par une livraison récurrente
Choisissez un artefact que votre équipe produit sur un calendrier – un rapport d’état, une revue de demande de tirage, un résumé de données ou un digeste de mesures. Temps et comptez les erreurs pour deux cycles effectués manuellement, puis exécutez deux cycles en hybride avec une règle de vérification écrite jointe. Comparez les intervalles, pas les sentiments. Ce seul avant et après vous dira plus sur l’endroit où se trouve la frontière pour votre travail que n’importe quel critère, et il vous donnera le nombre que votre équipe devrait effectivement regarder.
- manuel vs assisté par IA vs hybride
- travail assisté par IA
- intervention humaine
- productivité de l'IA
- hallucinations de l'IA

