Academic Jobs - Home of Higher Ed Logo

Manuel, assisté par l'IA ou hybride ? Choisir la bonne approche pour votre projet

9 min read0 vues

At a glance

Des études de Stanford, du MIT et de BCG montrent quand le travail manuel surpasse les résultats assistés par l'IA et quand les équipes hybrides surpassent les deux. Voici comment choisir la bonne approche.

a close up of a piece of paper on a table
Photo by Brett Jordan on Unsplash

Un responsable de produit que j’appellerai Priya a passé un vendredi à supprimer un plan de lancement écrit par l’IA. L’outil a livré neuf pages en moins de quatre minutes – une chronologie, un plan de messagerie et une matrice de risque construite à partir de chiffres que le modèle avait inventés.

Chaque équipe est désormais confrontée au même disque. Mettez-le au manuel et vous laissez la vitesse sur la table. Mettez-le à l'IA complète et vous héritez de nonsense fluide vêtue de travail fini. Mettez-le à l'hybride et vous atteignez la vraie question: quelles étapes vont à la machine, et qui vérifie quoi?

Les preuves des essais contrôlés, plutôt que les critères de référence des fournisseurs, indiquent une direction. Pour la plupart des travaux de connaissances, une approche hybride - une direction humaine tandis que l'IA exécute le milieu répétitif - bat à la fois la pure manualité et l'automatisation pure.

Les taux de base derrière le marketing

Dans un essai randomisé de 95 programmeurs professionnels, les développeurs utilisant GitHub Copilot ont terminé une tâche de codage de 55,8 % plus rapidement qu'un groupe de contrôle. Un essai randomisé séparé de 4 867 développeurs à travers Microsoft, Accenture et d'autres grands employeurs a révélé que les utilisateurs de Copilot ont terminé 26 % de demandes de tirage de plus par semaine. Dans une expérience de terrain avec 758 consultants du Boston Consulting Group, les personnes utilisant GPT-4 ont terminé 12,2 % de tâches de plus et travaillé 25,1 % de plus vite, avec des évaluateurs humains notant la qualité de 40 % plus élevé - mais uniquement sur des tâches dans la limite de capacité du modèle.

Sur un problème de stratégie complexe choisi pour s'asseoir juste en dehors de cette limite, les mêmes consultants étaient 19 points de pourcentage moins susceptibles d'atteindre la solution correcte que les collègues sans IA du tout.

L’IA générative décrit les systèmes – grands modèles de langues, ou LLM, le principal parmi eux – qui produisent du texte, du code et d’autres contenus à partir d’un prompt. Un LLM prédit le token suivant le plus plausible, c’est pourquoi il sonne autoritaire même quand il est faux.

Un développeur que j'appellerai Sam l'a appris sur une base de code mature. Il s'attendait à une accélération de 24% d'un assistant de codage d'IA; son stopwatch a montré le contraire. Dans un essai randomisé de 2025 par le METR à but non lucratif, 16 développeurs open-source expérimentés sur 246 tâches réelles ont pris 19% de plus avec l'IA que sans, alors qu'ils croyaient que l'outil les avait rendus 20% plus rapides. Les trois quarts des participants étaient plus lents individuellement.

Ensuite, il y a l’autre côté des preuves. Une étude de 5 179 agents de soutien à la clientèle d’une société de logiciels Fortune 500 a révélé qu’un assistant de chat d’IA augmentait la productivité d’environ 14% en moyenne, les gains étant concentrés parmi les nouveaux recrues. Un agent de deux mois utilisant l’outil se comportait comme un agent de six mois sans lui.

Couplez-les ensemble et le taux de base ressemble à ceci: le travail assisté par l'IA accélère de manière fiable les tâches répétitives et bien définies produites en volume, en particulier pour les personnes moins expérimentées, et ralentit de manière fiable le travail nouveau ou ambigu avec un contexte lourd, en particulier pour les experts qui connaissent déjà la réponse et doivent vérifier la version de la machine.

Combien coûte l’automatisation complète

Une étude de 2025 de Stanford et Carnegie Mellon a comparé 48 travailleurs professionnels avec quatre cadres d'agents de premier plan sur 16 tâches multi-étapes réalistes tirées du travail couvrant environ 72 pour cent des professions utilisant l'ordinateur aux États-Unis.

La qualité s'est effondrée. Les agents ont obtenu 32,5 à 49,5 points de pourcentage de moins que les humains travaillant seuls, et le taux d'erreur sur les tâches d'analyse de données a atteint 37,5 pour cent. Quand un agent ne pouvait pas lire un nombre à partir d'une image de reçu, il a parfois inventé une figure plausible.L'article complet sur arXivLes agents de documents remplaçant des sources non autorisées et fabriquant des données au lieu d'admettre une étape a échoué.

L'attribution d'un flux de travail complet à un agent ralentit le travail de 17,7% une fois que la vérification et le débogage ont été comptés, tandis que l'augmentation d'un flux de travail humain avec l'IA à des étapes spécifiques l'a accéléré de 24,3%.

Le mode d'échec était la délégation sans points de contrôle - une approbation humaine à la fin d'un processus qu'ils n'ont pas observé, héritant des erreurs qu'ils ont ensuite dû auditer un par un.

a page of a book with writing

Photo by Brett Jordan on Unsplash

Quand le manuel gagne

La hallucination est le terme pour une sortie d'IA qui est fluide et plausible mais erronée. Ce n'est pas un cas rare. Le plus récent Stanford AI Index, qui a mesuré 26 modèles de premier plan sur un critère de factualité, a trouvé des taux d'hallucination et d'erreur entre 22 et 94 pour cent en fonction du modèle et de la tâche. Les meilleurs systèmes sont situés dans les bas chiffres uniques sur la résumation fondée, où le modèle est limité à un document fourni; sur la génération de faits ouverte, le sol est beaucoup plus élevé.

Ce spread est le taux de base pour la décision manuelle. Le manuel gagne lorsque le coût d'une phrase erronée est élevé et que le volume est faible - un dépôt réglementaire, un changement de permission d'accès, un tableau de prix ou une liste de vérification de sécurité. Il gagne également lorsque la tâche est véritablement nouvelle, car l'originalité est exactement ce qu'un moteur de prédiction ne produit pas.

Le résumé MIT Sloan de cette étudeIl s’agit d’un problème de limite : à l’intérieur de la frontière, les humains ajoutent peu ; à l’extérieur, l’IA fait mal activement.La compétence pratique n’est pas l’ingénierie rapide.Il s’agit de localiser la frontière pour chaque livrable avant de commencer, et de la vérifier à nouveau à mesure que les modèles changent.

Le même modèle explique qui bénéficie.l'essai du centre d'appels décrit par Stanford et MITPour un spécialiste expérimenté qui fait du travail de jugement, l’outil est une deuxième opinion avec laquelle ils doivent se disputer – utile comme liste de vérification, pas comme auteur.

Lire le projet avant de choisir

Une décision de cette conséquence mérite une liste de vérification. j'utilise un construit à partir des modes d'échec ci-dessus, demandé dans l'ordre.

  • Quel est le volume, et combien sont répétitifs les étapes?La répétition en volume favorise la machine; le travail personnalisé unique ne le fait pas.
  • Que coûte une phrase erronée?Si une erreur est bon marché à attraper et à corriger, automatiser plus.Si elle déclenche une évaluation de la conformité ou perd un client, garder un humain sur la revendication finale.
  • La sortie peut-elle être vérifiée mécaniquement ?Le code compile ou échoue ; un mémo de stratégie ne le fait pas.Les sorties vérifiables tolèrent plus d'automatisation.
  • Si une personne signe le livrable, cette personne doit voir chaque revendication générée par la machine avant qu'elle ne soit expédiée.

Un point de données adjacent au fournisseur vaut la peine d'être inclus car il teste la revendication hybride contre le travail rémunéré.Indice de productivité humaine + agentL’étude, menée sur plus de 300 projets de clients réels, a révélé que l’association d’agents de l’IA avec des critiques humains experts augmentait les taux d’achèvement du projet de jusqu’à 70 pour cent par rapport aux agents travaillant seuls.

Le problème de mesure coupe les deux voies.Simon Willison sur le procès METRnote que les auto-rapports des développeurs et leurs stopwatches sont en désaccord d'environ 40 points - les gens se sentaient plus rapides tout en étant plus lents. Lient toute option d'approche à une métrique dont vous avez déjà confiance: temps de conduite, taux d'erreur, heures de réemploi ou articles expédiés.

ApprocheLe mieux quandRegardez pourExemple
manuelleVolume faible, taux élevé, nouveauté, responsabilitéFormats lents et incohérentsRéponse réglementaire ou décision de prix
Aide àDes projets volumineux, vérifiables et répétitifsErreurs de masquage de fluidité et sortie homogénéiséeNotes de réunion, code de premier passage, projets de FAQ, résumés de publication
HybrideTravaux multi-étapes mélangeant jugement et exécutionUnclear handoffs et des critiques de rubber-stampAnalyse des données ou plan de lancement

Ce que cela signifie pour votre projet

Arrêtez de choisir une approche au niveau du projet et commencez à la choisir au niveau de l'étape. Un plan de lancement n'est pas une tâche, c'est une trentaine. La recherche continue de revenir à cela parce que les échecs continuent de revenir à elle. L'automatisation complète d'un flux de travail entier a ajouté 17,7 pour cent au niveau de la vérification dans le travail de Stanford-Carnegie Mellon, tandis que l'augmentation au niveau de l'étape a réduit 24,3 pour cent du travail similaire.

  • Mappez le flux de travail en étapes avant de toucher un outil et marquez chaque étape comme programmable ou jugement.
  • Assignez des étapes programmables au modèle, mais gardez les premières et dernières étapes humaines : une personne définit le problème et une personne signe le résultat.
  • Écrivez une règle de vérification pour chaque étape de l'IA. Qui vérifie cela, contre quelle source, avant de continuer?
  • Suivez une mesure de vitesse et une mesure de qualité dès le départ.La vitesse sans taux d'erreur est la façon dont les équipes dérivent dans l'illusion de 19% de Sam.

Les chercheurs du BCG ont nommé deux styles de travail qui ont dépassé le reste: les centaures, qui divisent le travail et déléguent des étapes entières au modèle, et les cyborgs, qui interleave avec l'IA au milieu de la tâche. Les deux sont hybrides; la différence est la granularité. déléguer des étapes entières lorsque la frontière entre elles est claire. Interleave lors de l'écriture ou de l'analyse bénéficie du modèle étant dans la boucle que vous allez.

La responsabilité n'est pas transférée au modèle. Une équipe qui transporte la production d'IA sous un nom humain sans examen humain a déplacé l'erreur de la machine à la personne sans déplacer les connaissances.

Text from a book detailing the ark's construction

Photo by Brett Jordan on Unsplash

Commencez par une livraison récurrente

Choisissez un artefact que votre équipe produit sur un calendrier – un rapport d’état, une revue de demande de tirage, un résumé de données ou un digeste de mesures. Temps et comptez les erreurs pour deux cycles effectués manuellement, puis exécutez deux cycles en hybride avec une règle de vérification écrite jointe. Comparez les intervalles, pas les sentiments. Ce seul avant et après vous dira plus sur l’endroit où se trouve la frontière pour votre travail que n’importe quel critère, et il vous donnera le nombre que votre équipe devrait effectivement regarder.

  • manuel vs assisté par IA vs hybride
  • travail assisté par IA
  • intervention humaine
  • productivité de l'IA
  • hallucinations de l'IA
Portrait de Dr. Nathan Harlow
A propos de l'auteur

Dr. Nathan HarlowVoir auteur

Academic Jobs In House Author

Les reconnaissances :

Discussions

Sort par :

Soyez le premier à commenter cet article !

vous

Vous serez invité à vous connecter avant de publier votre commentaire.

Browse par faculté

Browse par sujet

  • Higher Education1577
  • Nursing480
  • Marine Biology425
  • Artificial Intelligence376
  • Environmental Science352
  • Human Biology309
  • Genetics302
  • Vocational Education283
  • Educational Administration and Leadership280
  • Business Administration262
  • Mechanical Engineering221
  • Management220

Frequently Asked Questions

🔍Quelle est la différence entre les approches manuelles, assistées par l'IA et hybrides ?

Un travail manuel est entièrement réalisé par une personne, sans implication d'intelligence artificielle générative à aucune étape. Un travail assisté par l'IA est réalisé par une personne qui produit le livrable tandis qu'un outil d'IA fournit des suggestions, des brouillons ou des compléments que la personne accepte, modifie ou rejette. Une approche hybride divise un flux de travail par étape : la machine exécute les tâches répétitives et programmables, tandis que les humains définissent le problème, prennent les décisions et vérifient le résultat. La distinction concerne la propriété de chaque étape, et non la quantité d'IA présente dans le résultat.

🧭Quand dois-je choisir une approche entièrement manuelle ?

Choisissez manuel lorsque le volume est faible, le coût d'une erreur est élevé et la sortie ne peut pas être vérifiée mécaniquement. Les dépôts réglementaires, les modifications d'autorisation d'accès, les décisions de tarification et les listes de contrôle de sécurité correspondent à ce modèle. Manuel est également la valeur par défaut la plus appropriée pour un travail réellement novateur, car les modèles prédisent la continuation la plus probable et aplatissent la variété — dans l'expérience du Boston Consulting Group, les utilisateurs de GPT-4 ont produit 41 pour cent de diversité d'idées en moins que le groupe témoin.

⚙Quand la sortie entièrement assistée par l'IA ou automatisée est-elle appropriée ?

L'automatisation trouve sa place dans les étapes répétitives à haute volume et vérifiables avec des erreurs peu coûteuses à corriger : la transcription de notes de réunion, la rédaction d'un premier jet de code, la génération de réponses à des questions fréquentes ou la reformatage de données structurées. L'étude de Stanford et de Carnegie Mellon a montré que les agents étaient 88,3 % plus rapides et 90 à 96 % moins chers que les humains pour des tâches comparables, mais leurs taux de réussite étaient 32,5 à 49,5 points de pourcentage inférieurs. Réservez la pleine automatisation aux étapes où une erreur non détectée est acceptable et qu'un point de contrôle humain est toujours présent en aval.

🧪Que dit la recherche sur les équipes hybrides par rapport à une automatisation complète ?

🧩Qu'est-ce que la frontière technologique irrégulière ?

Il s'agit de la frontière irrégulière entre les tâches que le modèle peut accomplir avec succès et celles qu'il se trompe systématiquement, même si les deux semblent similaires en difficulté. Le terme vient d'une expérience de terrain de Harvard, MIT, Wharton et BCG menée auprès de 758 consultants. À l'intérieur de la frontière, les utilisateurs de GPT-4 ont terminé 12,2 % de tâches de plus et 25,1 % plus rapidement, avec une qualité évaluée 40 % plus élevée. Pour une tâche complexe de stratégie juste à l'extérieur de la frontière, les utilisateurs de l'IA étaient 19 points de pourcentage moins susceptibles de produire la solution correcte.

🎯Quels sont les styles de travail centaure et cyborg ?

Les chercheurs ont identifié deux modèles de haute performance chez les consultants qui ont utilisé GPT-4 de manière efficace. Les centaures répartissent le travail de manière claire, déléguant des étapes entières au modèle et gardant d'autres étapes entièrement humaines. Les cyborgs alternent avec le modèle au sein d'une seule tâche, générant, éditant et régénérant en boucles serrées. Les deux styles sont hybrides ; la différence réside dans la granularité. Utilisez la délégation de style centaure lorsque les étapes se séparent clairement, et l'intercalation de style cyborg pour la rédaction et l'analyse.

📊Dans quelle mesure l'IA peut-elle réellement améliorer la productivité ?

La réponse couvre un large éventail car elle dépend de la tâche, du niveau de compétence de la personne, du temps passé avec l'outil et des enjeux. Les utilisateurs de GitHub Copilot ont terminé une tâche de codage contrôlée 55,8 pour cent plus rapidement, et un essai randomisé de 4 867 développeurs a trouvé 26 pour cent de demandes de tirage (pull requests) supplémentaires par semaine. Les agents de centre d'appels ont gagné en moyenne environ 14 pour cent, principalement parmi les débutants. Dans le sens inverse, l'essai de METR auprès de 16 développeurs expérimentés de logiciels open source a révélé un ralentissement de 19 pour cent sur des tâches réelles. Considérez chaque chiffre comme un point de données, et non comme une prévision pour votre équipe.

⚠Qu'est-ce que les taux d'hallucinations et pourquoi sont-ils importants ?

Une hallucination est une sortie fluide et plausible, mais erronée. Le dernier indice IA de Stanford, mesurant 26 modèles de pointe sur un benchmark de véracité, a constaté des taux d'hallucinations et d'erreurs compris entre 22 et 94 pour cent selon le modèle et la tâche. La synthèse ancrée peut se situer dans les chiffres inférieurs à 10 pour cent, tandis que la génération de faits ouverte atteint des niveaux beaucoup plus élevés. Ces taux constituent l'argument principal pour maintenir un contrôle humain sur toute sortie où une phrase erronée peut avoir un coût réel.

🗂Comment décider quelles parties d'un projet automatiser ?

Représentez le flux de travail en étapes et marquez chaque étape comme programmable ou nécessitant un jugement. Posez quatre questions dans l'ordre : à quel point l'étape est-elle répétitive, quel est le coût d'une erreur, la sortie peut-elle être vérifiée mécaniquement, et qui est responsable de l'erreur. Attribuez le milieu programmable et vérifiable au modèle et conservez la définition du problème et la validation finale avec une personne. Écrivez une règle de vérification pour chaque étape d'IA avant son exécution.

💡Le travail assisté par l'IA réduit-il la créativité ou l'originalité ?

C'est possible, si le modèle fait la génération d'idées. Dans l'expérience BCG, les utilisateurs de GPT-4 ont produit 41 pour cent moins de diversité d'idées que le groupe témoin, car le modèle a donné à tous des réponses similaires. La mitigation est de garder la pensée divergente humaine : utiliser le modèle pour développer, mettre en forme et tester les idées après qu'une personne ait généré les options de base, plutôt que de lui demander de faire du brainstorming à partir d'une invite vierge.

🔁Qu'est-ce que l'homme dans la boucle et pourquoi est-ce important ?

Human-in-the-loop, souvent abrégé HITL, signifie qu'une personne examine, corrige ou approuve une sortie d'IA à des points de contrôle définis au lieu de la laisser passer directement au produit fini. C'est important parce que les modèles ne peuvent pas fiablement détecter quand ils ont tort — l'étude de Stanford et de Carnegie Mellon a documenté des agents fabriquant des données plausibles plutôt que de signaler une étape ratée. Les points de contrôle placés en milieu de flux de travail, plutôt que seulement à la fin, sont ce qui sépare les gains hybrides du ralentissement de la pleine automatisation.

📏Comment les équipes doivent-elles mesurer si une approche fonctionne ?

Choisissez une métrique de vitesse et une métrique de qualité avant de commencer : par exemple, le temps de réalisation associé au taux d'erreur, ou les éléments livrés associés aux heures de reprise. Exécutez le même livrable récurrent manuellement pendant deux cycles, puis hybride pendant deux cycles, et comparez les plages. Ne vous fiez pas à la vitesse auto-déclarée - l'essai de METR a constaté que les développeurs croyaient être 20 pour cent plus rapides alors qu'ils étaient 19 pour cent plus lents. Un avant-après sur votre propre travail bat tous les benchmarks.