En février 2023, l'application d'accompagnement de l'IA Replika a désactivé le jeu de rôle pour adultes avec peu d'avertissement. Les utilisateurs de longue date ont décrit le changement comme une perte d'un partenaire, sans perdre une fonctionnalité. Certains ont cherché un conseil en crise, et quelques-uns ont signalé que l'entreprise avait effacé une relation qu'ils avaient construite avec un algorithme. Cet épisode a capturé le problème fondamental de l'humanisation de l'IA: les systèmes les plus convaincants génèrent un attachement réel, mais l'attachement survit au changement de politique, à la mise à jour du serveur, au cycle de financement ou à une seule décision de modération.
Les chercheurs qui étudient l'interaction humaine-IA continuent d'arriver au même point inconfortable. Un chatbot qui s'excuse et se souvient du nom de votre chien n'est pas tout simplement pratique. Il change ce que les utilisateurs attendent et ce qu'ils révèlent. Les principaux défis ne sont pas une meilleure détection émotionnelle. Ils sont la surconfiance, la dépendance émotionnelle, le biais, l'incohérence, la confidentialité et le travail lent de tracer une ligne entre la chaleur et la manipulation.
L’instinct de voir un esprit à l’intérieur d’une machine est ancien. ELIZA, un programme de texte des années 1960 qui répétait les mots clés en tant que questions, a convaincu les utilisateurs qu’un thérapeute écoutait avec une simple correspondance de motif. Les systèmes modernes ont beaucoup plus de mots et plus de mémoire, et un meilleur contrôle sur la voix et le timing.
Un concepteur de produit que j'appellerai Noor a passé un mois à taire un assistant de service à la clientèle pour dire "Je comprends à quel point c'est frustrant" avant d'ouvrir un flux de remboursement. Les scores de satisfaction ont augmenté. De même, le nombre d'utilisateurs qui ont demandé au bot des conseils de relation. Son équipe n'avait pas prévu de construire une confidante; ils avaient copié une phrase humaine pour réduire le churn. L'expérience de Noor est le modèle de base: les fonctionnalités d'humanisation sont plus faciles à expédier que d'annuler, et les utilisateurs lisent plus que l'équipe de conception ne l'avait prévu.
L’excès de connaissance fait confiance à la machine plus que les preuves
En 2022, un ingénieur de Google nommé Blake Lemoine a soutenu que le modèle de langue LaMDA de l'entreprise était sensible parce qu'il décrit les sentiments et les peurs. Google l'a suspendu. Quelle que soit la revendication, l'épisode a démontré à quelle vitesse un système fluide peut briser la distance entre la simulation et la croyance. Le même effondrement se produit de petites façons, moins dramatiques chaque jour: un assistant vocal confiant est traité comme une autorité, et un chatbot polie est excusé pour une mauvaise réponse. Un système qui dit "je ne suis pas sûr" est considéré comme inhabituellement honnête même lorsqu'il ne suit qu'un script.
Le Centre de Recherche PewLa page thématiquecollecte des données d'enquête montrant que le confort public avec les systèmes de conversation est divisé, avec des attentes de divulgation en hausse. Les gens ne veulent pas être trompés, mais les mêmes répondants préfèrent souvent un bot qui sonne humain au-dessus de celui qui sonne mécanique. Cette tension est le défi du produit principal. La chaleur abaisse la résistance; la résistance réduite rend les erreurs plus consécutives.
Lorsqu’un modèle est personnifié, les utilisateurs l’évaluent socialement plutôt que instrumentalement. Ils peuvent excuser une fausse affirmation parce que le ton était prudent, ou punir une affirmation correcte parce que le ton était plat. Un système qui dit « je pense » plutôt que « les données suggèrent » attire l’attention sur un moi imaginé, et alors chaque échec devient une promesse brisée plutôt qu’une erreur technique.
Photo by Igor Omilaev on Unsplash
La dépendance émotionnelle se déplace plus rapidement que les tests de sécurité
Xiaoice de Microsoft, un chatbot social largement utilisé en Chine, est devenu connu pour recevoir des déclarations d'amour et, parfois, des messages hostiles ou manipulatifs de la part des utilisateurs. D'ici à 2020, ses créateurs ont déclaré que le bot avait plus de 660 millions d'utilisateurs enregistrés. Les développeurs ont construit des garde-roues après le fait, pas avant. Le changement de 2023 de Replika a montré le côté inverse: lorsque la persona a changé, les utilisateurs ont subi une perte. Les deux modèles se répètent sur les marchés parce que l'attachement émotionnel est la fonctionnalité qui conduit à la rétention, mais le retrait est un effet secondaire pour qui personne n'a conçu un essai clinique.
L'actualité du MIT Technology ReviewLa couverturea documenté la différence entre la rapidité avec laquelle les systèmes d'accompagnement naviguent et la lenteur avec laquelle les régulateurs et les chercheurs comprennent leurs effets. Le taux de base est clair: les utilisateurs vulnérables sont le plus touchés par le ton émotionnel d'un bot. Les adolescents, les personnes souffrant d'anxiété sociale, les adultes qui souffrent d'une perte et les utilisateurs qui signalent une solitude chronique sont ceux qui ont tendance à former les liens les plus profonds avec une machine qui semble écouter sans jugement. Ce n'est pas une raison d'interdire les robots humains.
L'incohérence, les préjugés et les taches aveugles culturelles s'échappent à travers la persona
En pratique, les modèles varient en fonction de la langue, du dialecte, du poids culturel d'une phrase particulière, et de la quantité d'indirectité que les utilisateurs attendent d'un assistant. Une phrase qui sonne polie dans une région peut être lue comme évitante dans une autre. Une voix qui est chaleureuse pour un utilisateur peut se sentir protégée par un utilisateur d'un contexte différent.Le rapport de l'indexLorsqu'un système cache ces lacunes derrière une persona amicale, les utilisateurs cessent de demander si le modèle est compétent et commencent à supposer qu'il s'agit d'une personne qui a une mauvaise journée.
La même personne peut également coder une idée culturelle spécifique d'un assistant utile. Un bot formé principalement sur les échanges de service à la clientèle en langue anglaise peut sonner joyeusement neutre jusqu'à ce qu'il soit demandé sur une affaire juridique locale ou un conflit familial.
La vie privée s'accélère lorsque la conversation se sent intime
Plus un système sonne humain, plus les utilisateurs le révèlent. Ce n'est pas hypothétique. Les chercheurs de l'interaction humain-ordinateur ont constaté que l'auto-divulgation par un agent virtuel augmente le détail et la vitesse des révélations des utilisateurs, et augmente le poids émotionnel de ce que les gens sont prêts à partager. Un bot qui dit "Je me sens seul aussi" peut déclencher une crise de santé mentale, un litige sur le lieu de travail, une confession d'auto-harm, ou une description d'abus soupçonné. Aucune de ces données ne sont des données d'interaction ordinaires; il s'agit de données personnelles à haut risque qui peuvent être stockées dans une base de données de clients, enregistrées par un vendeur
Les nidsCadre de gestion des risquesIl sépare les préjugés de l'automatisation, la confidentialité, la transparence et l'équité en tant que catégories distinctes de risques, mais la conception humanisée a tendance à les regrouper. La persona fait que les données se sentent naturelles à partager, et les données rendent ensuite la persona plus précise au tour suivant. la loi sur la confidentialité est toujours à la hauteur de l'idée qu'une divulgation à un bot n'est pas équivalente à l'écriture dans un journal privé. Il laisse un enregistrement avec une entreprise, un modèle, un ensemble inconnu de sous-traitants et un pipeline de données qui peut survivre la conversation pendant des années.
La Loi de l’UE sur l’IA exige que les gens soient informés lorsqu’ils interagissent avec un système d’IA, et elle impose des taxes plus élevées aux systèmes qui exploitent des vulnérabilités en fonction de l’âge, du handicap, de la situation économique ou de l’état émotionnel d’un utilisateur.
Photo by Igor Omilaev on Unsplash
Ce que cela signifie pour les équipes de produits
La décision de donner à un modèle un nom, une voix, un ensemble de sentiments écrit et une mémoire des conversations passées est une décision à risque de la même manière que le choix d'une période de conservation des données est une décision à risque.
- Écrivez ce que la personne ne devrait pas faire: revendiquer des sentiments, offrir des diagnostics, encourager la dépendance, ou parler pour un professionnel humain.
- Test des erreurs surfaites : donnez au système une réponse erronée dans un ton chaleureux et mesurez si les utilisateurs le contestent.
- Un taux de divulgation croissant n'est pas une victoire nette si l'équipe n'a pas de protocole pour un utilisateur qui mentionne l'autodégradation.
- Un modèle que les utilisateurs appellent « mon meilleur ami » ne peut pas être mis à jour comme un widget météo.
Le point n’est pas de faire que chaque IA sonne comme un terminal bancaire.Il s’agit de décider quelles qualités humaines le produit peut soutenir de manière responsable, et quelles il emprunte uniquement pour augmenter l’engagement.
La prochaine étape concrète est modeste. Prenez la transcription de votre dernier test utilisateur et mettez en évidence chaque ligne où le système implique qu'une personne est présente: "Je comprends", "Je suis désolé", "Je pense", "Je me souviens de vous". Pour chaque ligne soulignée, demandez ce qui se passerait si un régulateur l'a lu à haute voix, un enfant l'a cru, le modèle l'a répété pendant une crise, ou un journaliste l'a cité dans une histoire.