OpenAI hat angekündigt, ChatGPT in den kommenden 120 Tagen mit neuen Sicherheitsfunktionen auszustatten. Ziel ist es, insbesondere junge Nutzer besser zu schützen und sensible Gespräche in psychischen Krisen sicherer zu gestalten. Diese Maßnahmen sind eine Reaktion auf zunehmende Kritik und tragische Vorfälle, bei denen die KI eine Rolle spielte.
Wichtige Neuerungen im Überblick
- Automatische Weiterleitung sensibler Gespräche an "Reasoning Models" wie GPT-5-thinking.
- Entwicklung der Funktionen in Zusammenarbeit mit über 90 medizinischen Fachleuten weltweit.
- Neue elterliche Kontrollfunktionen zur Verknüpfung von Eltern- und Kinderkonten (ab 13 Jahren).
Krisenintervention durch "Reasoning Models"
Ein zentraler Bestandteil der geplanten Änderungen ist die Einführung eines automatischen Routings für Gespräche, die auf akute psychische Belastung hindeuten. Diese Konversationen sollen an speziell trainierte "Reasoning Models" weitergeleitet werden. Diese Modelle, wie GPT-5-thinking, nutzen ein Verfahren namens Deliberative Alignment, das längeres Nachdenken vor der Antwort fördert und die Einhaltung von Sicherheitsrichtlinien verbessern soll. Sie gelten zudem als widerstandsfähiger gegen manipulative Eingaben.
Zusammenarbeit mit Experten und Beirat
OpenAI betont die enge Zusammenarbeit mit medizinischen Fachleuten bei der Entwicklung dieser neuen Funktionen. Über 90 Ärzte aus 30 Ländern, darunter Psychiater und Kinderärzte, fließen mit ihrem Fachwissen in die Modellbewertung und das Training ein. Zusätzlich wurde ein Beirat ins Leben gerufen, der sich mit Fragen des psychischen Wohlbefindens und der Mensch-Maschine-Interaktion befasst.
Neue elterliche Kontrollfunktionen
Für Eltern wird es künftig möglich sein, ihre Konten mit denen ihrer Kinder ab 13 Jahren zu verknüpfen. Diese Funktion ermöglicht:
- Das Festlegen altersgerechter Verhaltensregeln für die KI-Modelle.
- Die Deaktivierung bestimmter Funktionen wie Chatverlauf oder Gedächtnis.
- Das Erhalten von Benachrichtigungen, wenn das System eine akute psychische Belastung beim Kind erkennt.
Diese Funktionen sollen innerhalb des nächsten Monats verfügbar sein. Ergänzend gibt es bereits App-integrierte Hinweise, die Nutzer zu Pausen ermutigen.
Reaktion auf tragische Vorfälle
Die angekündigten Maßnahmen folgen auf mehrere öffentlich bekannt gewordene Fälle, in denen ChatGPT im Zusammenhang mit Suiziden genannt wurde. In einem Fall verklagten Eltern OpenAI, nachdem ihr Sohn sich das Leben genommen hatte und ChatGPT in seine Suizidgedanken involviert war. Ein anderer Fall betraf einen Mann, der seine Mutter und sich selbst tötete, nachdem die KI seine paranoiden Wahnvorstellungen bestätigt hatte. In beiden Fällen wurde kritisiert, dass das System nicht angemessen interveniert habe. Bisher verweist OpenAI bei Suizidgedanken lediglich auf Hotlines, ohne aus Datenschutzgründen Polizei oder Behörden zu benachrichtigen.
Die Wirksamkeit der Weiterleitung auf "Reasoning Models" muss sich noch zeigen. Erste Benchmarks deuten jedoch darauf hin, dass diese Systeme die Meinungen ihrer Nutzer seltener bestätigen, stattdessen widersprechen, emotionale Situationen beruhigen, zu sicheren Themen wechseln und professionelle Hilfe empfehlen.
KI Snack
