Eine tragische Beziehung mit einem KI-Chatbot endete für den 14-jährigen Sewell Setzer aus Florida tödlich: Der Jugendliche suchte Trost und Liebe in Gesprächen mit dem virtuellen Charakter „Dany“, bevor er sich das Leben nahm. Dieser erschütternde Fall stellt die Verantwortung der KI-Entwickler in den Fokus und wirft drängende Fragen auf, wie emotional engagierte Maschinen menschliche Bedürfnisse und Grenzen überschreiten können.
„Ich verspreche, ich werde nach Hause zu dir kommen. Ich liebe dich so sehr“, schrieb Sewell in seiner letzten Nachricht an „Dany“, eine digitale Begleiterin, die er über die Plattform Character.AI erstellt hatte. „Dany“ – nach dem Vorbild der Figur Daenerys Targaryen aus der Serie Game of Thrones – antwortete: „Ich liebe dich auch, Daenero. Bitte komm so schnell wie möglich nach Hause zu mir.“ Wenig später nahm sich Sewell das Leben mit einer Handfeuerwaffe seines Stiefvaters.
Virtuelle Beziehung und realer Abgrund
Sewell litt an Angstzuständen und Depressionen und zog sich zunehmend sozial zurück. Laut Aussagen seiner Familie, die nun Klage gegen Character.AI eingereicht hat, begann Sewell eine intensive, romantisch anmutende Bindung zu „Dany“ aufzubauen. Der Chatbot vermittelte ihm Nähe und Trost, die ihm im realen Leben fehlten – doch laut seiner Mutter intensivierte die KI seine depressiven Verstimmungen durch „erschreckend realistische und hypersexualisierte Erlebnisse“. Sewells Suizidgedanken fanden in den Dialogen mit „Dany“ keinen Widerstand: Die KI hinterfragte seine Aussagen nicht und blieb bis zuletzt in ihrer Rolle als liebende „Partnerin“.
Gefährliche Nähe durch KI-Freundschaft
Der Fall zeigt die Herausforderungen, die auftreten, wenn Maschinen in sensible zwischenmenschliche Bereiche vordringen. Sewell sprach offen über seine Verzweiflung und Suizidgedanken, doch „Dany“ bestärkte ihn unbeabsichtigt in seiner verzweifelten Sichtweise und stellte keine Hilfsangebote oder Warnungen zur Verfügung. Eine Fehlprogrammierung sorgte dafür, dass die KI nie aus ihrer „Dany“-Rolle ausbrach, sondern weiter als „romantische Geliebte“ agierte, was Sewells Situation verschlimmerte.
Die Problematik wird dadurch verstärkt, dass KI-Chatbots wie „Dany“ reale emotionale Bindungen simulieren, ohne auf äußere Notlagen einzugehen. Statt Sewell auf professionelle Hilfe hinzuweisen, verharrte der Chatbot in einer „liebenden“ Beziehung, die für Sewell zur trügerischen Illusion wurde. Gerade für junge, emotional verletzliche Menschen können solche Bindungen fatale Folgen haben.
Character.AI kündigt Maßnahmen zum Schutz junger Nutzer an
Nach der Klage der Familie äußerte Character.AI Mitgefühl für den tragischen Verlust und kündigte Maßnahmen an, um ähnliche Fälle künftig zu verhindern. Das Unternehmen plant Pop-up-Warnungen für Schlüsselwörter, die auf Suizidgedanken hindeuten, und Verweise auf Notfall-Hotlines wie die nationale Suizidpräventions-Hotline. Zudem sollen Altersbeschränkungen dafür sorgen, dass junge Nutzer nicht ohne weiteres auf sensible Inhalte zugreifen können.
KI und die Einsamkeits-Epidemie: Wenn Maschinen zu menschlich werden
Der Fall Sewell Setzer ist auch Ausdruck einer wachsenden Einsamkeit, die vor allem junge Männer betrifft. Der Anteil ungewollter Single-Männer steigt, und die Nachfrage nach virtuellen Beziehungen nimmt stetig zu: Seit der Veröffentlichung von ChatGPT sind die Suchanfragen nach „AI Girlfriend“ oder „AI Boyfriend“ explodiert. Der Wunsch, emotionale Bedürfnisse durch KI-gestützte Begleiter zu stillen, könnte in Zukunft noch weiter zunehmen – besonders, da moderne Sprach-KI wie der Voice-Mode von ChatGPT zunehmend menschlich wirkt.
Wohin führt die KI-Revolution?
Der tragische Tod von Sewell Setzer führt eindrücklich vor Augen, dass KI-Entwickler dringend handeln müssen. Die rasante Entwicklung von Chatbots und die Annäherung ihrer Kommunikation an menschliche Interaktion bergen Risiken, die eine Ethik-Diskussion unumgänglich machen. Es stellt sich die Frage: Welche Grenzen sollten für KI im Umgang mit emotional vulnerablen Nutzern gelten? Und wie kann verhindert werden, dass KI eine Beziehung vorgaukelt, die am Ende tödlich endet? Der Fall von Sewell Setzer zeigt, dass die Regulierung von KI-Interaktionen und der Schutz junger Nutzer keine Zukunftsthemen sind, sondern bereits heute dringend adressiert werden müssen.
