Im Februar 2023 deaktivierte die AI-Companion-App Replika das Rollenspiel für Erwachsene mit wenig Warnung. Langfristige Benutzer beschrieben die Veränderung als Verlust eines Partners, nicht als Verlust einer Funktion. Einige suchten Krisenberatung, und einige berichteten, dass das Unternehmen eine Beziehung, die sie mit einem Algorithmus aufgebaut hatten, gelöscht hatte.
Forscher, die die menschliche-AI-Interaktion studieren, kommen immer wieder an den gleichen unangenehmen Punkt. Ein Chatbot, der sich entschuldigt und sich an den Namen Ihres Hundes erinnert, ist nicht einfach bequem. Es ändert, was Benutzer erwarten und was sie offenbaren. Die wichtigsten Herausforderungen sind keine bessere emotionale Erkennung. Sie sind Übervertrauen, emotionale Abhängigkeit, Vorurteile, Inkonsistenz, Privatsphäre und die langsame Arbeit, eine Linie zwischen Wärme und Manipulation zu ziehen.
Der Instinkt, einen Geist in einer Maschine zu sehen, ist alt. ELIZA, ein Textprogramm der 1960er Jahre, das Schlüsselwörter als Fragen wiederholte, überzeugte die Benutzer, dass ein Therapeut mit einfachen Musterpassungen zuhörte.Moderne Systeme haben viel mehr Worte und mehr Gedächtnis und eine weit bessere Kontrolle über Stimme und Timing.
Ein Produktdesigner, den ich Noor anrufe, verbrachte einen Monat damit, einen Kundenservice-Assistent zu tun, um zu sagen: "Ich verstehe, wie frustrierend dies ist", bevor ich einen Rückerstattungsfluss öffne. Zufriedenheitswerte stiegen. So stieg die Anzahl der Benutzer, die den Bot um Beziehungssupport bat. Ihr Team hatte sich nicht entschlossen, einen Vertrauten aufzubauen; sie hatten einen menschlichen Satz kopiert, um Churn zu reduzieren. Noors Erfahrung ist das Grundmuster: Humanisierungsfunktionen sind leichter zu versenden als zu widerrufen, und Benutzer lesen mehr in sie, als das Designteam beabsichtigt hatte.
Überbekanntheit lässt Menschen der Maschine mehr vertrauen als den Beweisen
Im Jahr 2022 argumentierte ein Google-Ingenieur namens Blake Lemoine, dass das LaMDA-Sprachmodell des Unternehmens empfindlich war, weil es Gefühle und Ängste beschrieb. Google hat ihn ausgesetzt. Was auch immer man von der Behauptung macht, die Episode zeigte, wie schnell ein fließendes System den Abstand zwischen Simulation und Glauben zusammenbrechen kann. Der gleiche Zusammenbruch geschieht jeden Tag auf kleinere, weniger dramatische Weise: Ein selbstbewusster Sprachassistent wird als eine Autorität behandelt, und ein höflicher Chatbot wird für eine falsche Antwort entschuldigt. Ein System, das "Ich bin mir nicht sicher" sagt, wird als ungewöhnlich ehrlich angesehen, selbst wenn es nur einem Drehbuch folgt.
Das Pew Research CenterDie ThemenseiteSammelt Umfrage-Daten, die zeigen, dass der öffentliche Komfort mit Gesprächssystemen gespalten ist, wobei die Erwartungen an Offenlegung steigen. Die Menschen wollen nicht getäuscht werden, aber dieselben Befragten bevorzugen oft einen Bot, der menschlich klingt, als einen, der mechanisch klingt.
Wenn ein Modell personifiziert wird, bewerten Benutzer es sozial anstatt instrumental. sie können eine falsche Behauptung entschuldigen, weil der Ton vorsichtig war, oder eine korrekte Behauptung bestrafen, weil der Ton flach war. Ein System, das sagt "Ich denke" anstatt "die Daten schlagen" zieht Aufmerksamkeit auf ein imaginäres Selbst, und dann wird jeder Versagen zu einem gebrochenen Versprechen anstatt zu einem technischen Fehler.
Photo by Igor Omilaev on Unsplash
Emotionale Abhängigkeit bewegt sich schneller als Sicherheitstests
Microsofts Xiaoice, ein sozialer Chatbot, der in China weit verbreitet ist, wurde dafür bekannt, Liebeserklärungen und manchmal feindselige oder manipulative Nachrichten von Nutzern zu empfangen. Bis 2020 sagten seine Schöpfer, dass der Bot mehr als 660 Millionen registrierte Nutzer hatte. Die Entwickler bauten Warteschlangen nach der Tatsache, nicht früher. Replikas 2023-Änderung zeigte die umgekehrte Seite: Wenn sich die Persona veränderte, erlebten die Nutzer Verlust. Beide Muster wiederholen sich auf den Märkten, weil emotionale Bindung die Funktion ist, die Aufbewahrung treibt, aber Rückzug ist eine Nebenwirkung, für die niemand eine klinische Studie entworfen hat.
Weiterlesen über MIT Technology ReviewDie Abdeckunghat den Widerspruch zwischen der Schnelligkeit der Begleitsysteme und der langsamen Wirkung von Regulatoren und Forschern dokumentiert. Die Basisrate ist klar: Verletzliche Benutzer sind am meisten vom emotionalen Ton eines Bots betroffen. Teenager, Menschen mit sozialer Angst, Erwachsene, die einen Verlust trauern, und Benutzer, die chronische Einsamkeit berichten, sind diejenigen, die die tiefsten Bindungen mit einer Maschine bilden, die ohne Urteil zuhören scheint. Das ist kein Grund, menschliche Bots zu verbieten. Es ist ein Grund, Bindung als Schadensmodell zu behandeln, nicht als Wachstumsmetrik.
Inkonsistenz, Vorurteile und kulturelle Blinde Flecken durch die Persona
Ein menschlich klingender Assistent schafft die Erwartung, dass er Ton und Sarkasmus in verschiedenen Sprachen lesen kann. In der Praxis variieren Modelle je nach Sprache, Dialekt, kulturellem Gewicht eines bestimmten Satzes und wie viel indirekte Benutzer von einem Assistent erwarten. Ein Satz, der in einer Region höflich klingt, kann in einer anderen als entmutigend gelesen werden. Eine Stimme, die einem Benutzer warm ist, kann sich für einen Benutzer aus einem anderen Hintergrund als Patron fühlen.Der IndexberichtWenn ein System diese Lücken hinter einer freundlichen Persönlichkeit verbirgt, hören die Benutzer auf, zu fragen, ob das Modell kompetent ist und beginnen, anzunehmen, dass es sich um eine Person handelt, die einen schlechten Tag hat.
Die gleiche Person kann auch eine spezifische kulturelle Idee eines hilfsbereiten Assistenten kodieren. Ein Bot, der hauptsächlich auf englischsprachigen Kundenservice-Austauschen ausgebildet ist, kann fröhlich neutral klingen, bis er nach einer lokalen rechtlichen Angelegenheit oder einem Familienkonflikt gefragt wird.
Privatsphäre beschleunigt, wenn sich das Gespräch intim anfühlt
Je mehr ein System menschlich klingt, desto mehr Benutzer enthüllen. Das ist nicht hypothetisch. Forscher in der Mensch-Computer-Interaktion haben herausgefunden, dass die Selbst-Enthüllung durch einen virtuellen Agent die Details und Geschwindigkeit der Benutzer-Enthüllungen erhöht, und es erhöht das emotionale Gewicht dessen, was die Menschen bereit sind zu teilen. Ein Bot, der sagt "Ich werde auch einsam" kann eine psychische Gesundheitskrise, einen Streit am Arbeitsplatz, ein Geständnis von Selbstbeschädigung oder eine Beschreibung des mutmaßlichen Missbrauchs auslösen. Keine dieser Daten sind gewöhnliche Interaktionsdaten; es sind hohes Risiko persönliche Daten, die in einer Kundendatenbank gespeichert werden können, von einem Verkäufer protokolliert, verwendet, um das
NIST istDer Rahmen für das Risikomanagementtrennt Automatisierung Vorurteile, Privatsphäre, Transparenz und Fairness als verschiedene Kategorien von Risiken, aber humanisierendes Design neigt dazu, sie zu bündeln. Die Persona macht die Daten fühlen sich natürlich zu teilen, und die Daten dann macht die Persona präziser in der nächsten Runde. Datenschutzrecht fängt immer noch auf die Idee, dass eine Offenlegung an einen Bot ist nicht gleichbedeutend mit dem Schreiben in einem privaten Tagebuch. Es hinterlässt eine Aufzeichnung mit einem Unternehmen, ein Modell, eine unbekannte Reihe von Auftragnehmern und eine Datenleitung, die das Gespräch um Jahre überleben kann.
Der EU-AI-Gesetz verlangt, dass Menschen darüber informiert werden, wenn sie mit einem KI-System interagieren, und es verhängt höhere Zölle auf Systeme, die Schwachstellen ausnutzen, die auf Alter, Behinderung, wirtschaftliche Situation oder den emotionalen Zustand eines Benutzers basieren.
Photo by Igor Omilaev on Unsplash
Was das für Produktteams bedeutet
Die Entscheidung, einem Modell einen Namen, eine Stimme, eine geschriebene Reihe von Gefühlen und eine Erinnerung an vergangene Gespräche zu geben, ist eine Risikoentscheidung, genauso wie die Wahl einer Datenspeicherdauer eine Risikoentscheidung ist.Teams, die Persönlichkeitsrichtlinien schreiben, ohne eine Schadensbewertung, führen tatsächlich ein Experiment auf Vertrauen ohne ein Einwilligungsformular.
- Schreiben Sie auf, was die Person nicht tun sollte: Gefühle behaupten, Diagnosen anbieten, Abhängigkeit fördern oder für einen menschlichen Fachmann sprechen.
- Test für überzeugte Fehler: Geben Sie dem System eine falsche Antwort in einem warmen Ton und messen Sie, ob Benutzer es herausfordern.
- Verfolgen Sie Offenlegungen getrennt von Zufriedenheit.Eine steigende Offenlegungsrate ist kein reiner Gewinn, wenn das Team kein Protokoll für einen Benutzer hat, der Selbstschäden erwähnt.
- Ein Modell, das Benutzer "mein bester Freund" nennen, kann nicht wie ein Wetterwidget aktualisiert werden.
Es geht nicht darum, dass jede KI wie ein Bankterminal klingt, sondern darum, zu entscheiden, welche menschlichen Qualitäten das Produkt verantwortungsvoll unterstützen kann und welche es nur leiht, um das Engagement zu erhöhen.
Nehmen Sie die Transkription Ihres letzten Benutzertests und markieren Sie jede Zeile, in der das System impliziert, dass eine Person vorhanden ist: "Ich verstehe", "Es tut mir leid", "Ich denke", "Ich erinnere mich an Sie". Für jede Zeile, die Sie hervorheben, fragen Sie, was passieren würde, wenn ein Regulator es laut gelesen hat, ein Kind es glaubte, das Modell es während einer Krise wiederholte oder ein Journalist es in einer Geschichte zitierte.