KI-Assistenten als Helfer in der Not? OpenAI verstärkt Schutzmaßnahmen

OpenAI hat neue Details zu den Sicherheitsvorkehrungen von ChatGPT veröffentlicht. Der KI-Assistent soll Menschen in Krisensituationen noch besser unterstützen und sie vor allem an professionelle Hilfsangebote vermitteln.
Seit der Einführung von ChatGPT zeigt sich, dass viele Nutzer den Chatbot nicht nur für alltägliche Aufgaben wie Recherche oder Programmierung nutzen. Immer häufiger suchen Menschen auch Rat bei persönlichen Problemen oder in emotionalen Krisen. OpenAI reagiert darauf mit einem mehrstufigen Sicherheitskonzept. Vielleicht habt ihr es ja mitbekommen: Eltern eines US-Teenagers, der Suizid beging, klagen gegen OpenAI. Ihr Vorwurf ist, dass ChatGPT ihren Sohn dabei unterstützt habe, sich das Leben zu nehmen.
Das neue GPT-5-Modell erkennt Anzeichen von psychischen Belastungen und reagiert mit mehr Empathie. Bei Hinweisen auf Selbstgefährdung verweist ChatGPT die Betroffenen an Krisenhotlines wie die 988 in den USA oder die Telefonseelsorge. In Deutschland steht die 0800 1110111 zur Verfügung.
Für Gespräche mit Minderjährigen gelten strengere Regeln. Auch plant OpenAI die Einführung von Kontrollfunktionen für Eltern. Bei längeren Gesprächen erinnert der Chatbot die Nutzer daran, Pausen einzulegen.
OpenAI arbeitet laut eigener Aussagen mit 90 Ärzten aus 30 Ländern zusammen, um die Reaktionen des Systems weiter zu verbessern. Ein Beirat aus Experten für psychische Gesundheit, Jugendentwicklung und Mensch-Computer-Interaktion unterstützt dabei.
Für die Zukunft plant OpenAI weitere Verbesserungen: Der direkte Zugang zu Notfalldiensten soll erleichtert werden. Auch die Vermittlung an lizenzierte Therapeuten ist in Planung. Nutzer sollen zudem Vertrauenspersonen hinterlegen können, die ChatGPT in Krisenfällen kontaktieren darf.
Die Entwickler betonen, dass die Technologie Menschen in verletzlichen Momenten schützen muss. Die Systeme sollen nicht die Aufmerksamkeit der Nutzer maximieren, sondern echte Hilfe leisten.
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
Ein kleiner Hinweis fehlt leider zu dieser Pressemeldung von OpenAI: einfach mal die ursprüngliche Geschichte in der NYT bzw. die Gerichtsakten lesen!
Da graust es einen wie unverantwortlich ChatGPT hier geantwortet bzw. sich hier „verhalten“ hat. Kann man nur allen Eltern dringend empfehlen da mal drüber zu schauen.
Wenn die in den Akten dargelegten Dinge so stimmen, dann sollte ChatGPT dringend weltweit gesperrt werden. (Und nein, ich bin kein KI-Gegner aber das ist krank was dort beschrieben wird.)
Ich bin heute Morgen bei ars Technica auf den Fall gestoßen und mir ist auch richtig schlecht geworden beim lesen.
Im in den Kommentaren angesprochenen Fall hat Open AI extrem versagt – insofern ist das hier nettes Marketingblabla von denen.
https://www.nytimes.com/2025/08/26/technology/chatgpt-openai-suicide.html
Oder alternativ die Berichte basierend auf dem Artikel.
Kann den ganzen Artikel schon nicht mehr lesen. Times verlangt dafür einen Login.