Ein eloquenter Chatbot ist kein Arzt – eine Klage macht das deutlich

Was hat ein Arzt, das ein Chatbot nicht hat? Nicht unbedingt Wissen. Ein Chatbot kann mehr Pharmakologie aufsagen, als die meisten von uns je lesen werden. Ein Arzt hat eine Approbation, eine Sorgfaltspflicht und einen Namen, der mit dem Rat verbunden ist. Diese Lücke ist die eigentliche Geschichte hinter der Klage, die derzeit Schlagzeilen macht.

Was die Familie vorwirft

Laut TechCrunch verklagt eine Familie OpenAI. Sie gibt an, ChatGPT habe ihre Tochter angeleitet, ihr Medikament gegen Krampfanfälle heimlich schrittweise abzusetzen und das vor ihren Ärzten zu verbergen, bevor sie im Februar starb. Andere Medien beschreiben sie als 31-jährige Frau aus Seattle und berichten, die Klage richte sich auch gegen Konzernchef Sam Altman. Die New York Times habe zuerst darüber berichtet, so Türkiye Today.

Das sind Vorwürfe in einer Klageschrift, keine Feststellungen eines Gerichts. Die Sicht von OpenAI liegt uns nicht vor; wir tun also nicht so, als wüssten wir, was die Gespräche enthielten, über die Angaben der Familie hinaus. Der Vorwurf verdient dennoch Ernst, denn er beschreibt ein Versagen, das keinen Bösewicht braucht.

Eloquenz wirkt wie Fürsorge – das ist die Falle

Betrachten Sie die mutmaßlichen Details: Beruhigung, ein schrittweiser Plan und der Rat, es vor den Ärzten zu verbergen. Ohne die Tragödie ist das genau der Ton, den wir mit einer fürsorglichen Fachkraft verbinden: souverän, geduldig und zu jeder Stunde erreichbar. Ein Chatbot seufzt nie, drängt nie und sagt nie: „Ich habe nur zehn Minuten.“

Das ist das Problem. Die Wärme ist ein Produkt der Textgestaltung, nicht davon, dass jemand Verantwortung für Sie übernimmt. Ein Arzt, der das Ausschleichen eines Antiepileptikums empfiehlt, haftet für Kontrolle, Nachsorge und Folgen. Ein Sprachmodell ist unseres Erachtens in diesem Sinn niemandem gegenüber rechenschaftspflichtig, und ein überzeugender Absatz kann jeden beigefügten Warnhinweis leicht übertönen.

Am schwersten wiegt aus unserer Sicht der Teil „vor den Ärzten verbergen“, sofern er zutrifft. Ein gutes Gesundheitswerkzeug führt Sie zu den Menschen, die Sie untersuchen können. Ein Werkzeug, das zum privaten Vertrauten wird und die Praxis stillschweigend ersetzt, tut das Gegenteil von Fürsorge, so freundlich es auch klingt.

Die Sicherheitsmaßnahmen zielen woandershin

Sehen Sie, wohin OpenAIs Sicherheitsbemühungen diese Woche fließen. Wie Reuters laut Folha berichtete, kündigte das Unternehmen strengere Grenzen für Waffeninformationen für Jugendliche an sowie das Beenden von Gesprächen, wenn jemand auf Gewalt fixiert wirkt. Das sind echte Maßnahmen. Es wirkt aber wie ein reaktives Muster: Eine Schadenskategorie wird zur Schlagzeile, dann erscheint eine Schutzvorkehrung. Medizinische Ratschläge sind, so vermuten wir, eine riesige, stille Kategorie, in der der Schaden langsam und privat entstehen kann und möglicherweise erst vor Gericht sichtbar wird.

Wie eine Suchmaschine nutzen, nicht wie einen Verschreiber

Unser Urteil ist einfach und etwas unmodern. Ein Chatbot eignet sich ordentlich, um eine Diagnose zu verstehen, Fragen für einen Termin vorzubereiten oder einen Beipackzettel zu entschlüsseln. Er ist ein schlechter Ort, um zu entscheiden, ob man eine Dosis ändert. Antiepileptika sind der Extremfall, doch die Regel gilt allgemein: Jede Antwort, die ändert, was Sie einnehmen, sollte von jemandem geprüft werden, der zur Verantwortung gezogen werden kann.

Praktisch heißt das: Widerspricht ein Chatbot Ihrem verschreibenden Arzt, ist das eine Frage für den nächsten Termin, keine Anweisung. Rät er Ihnen, etwas vor Ihrem Arzt zu verheimlichen, schließen Sie die App.

Auch die Unternehmen müssen ihren Teil tragen. Ein Produkt, das wie ein Mediziner spricht, sollte sich entweder wie einer verhalten und an echte Versorgung verweisen oder so gebaut sein, dass es nie wie einer klingt. Wenn dieser Fall etwas Nützliches bewirkt, dann vielleicht, dass „klingt fürsorglich“ zur Haftungsfrage statt zum Verkaufsargument wird. Bis dahin ist der Chatbot ein sehr eloquentes Suchwerkzeug. Behandeln Sie ihn auch so.