Kalifornien zwingt Kinder-Chatbots zu Krisenschutz und Audits

Worum es geht

Kaliforniens Gouverneur Gavin Newsom hat am 10. September 2026 ein Gesetzespaket zum Schutz von Kindern im Internet unterzeichnet. Für KI-Anbieter ist vor allem SB 1119 relevant, das als Adam’s Law bezeichnet wird. Es verschärft die Regeln für sogenannte Companion-Chatbots: Systeme, die nicht nur Fragen beantworten, sondern Nähe, Freundschaft oder emotionale Unterstützung simulieren.

Das Gesetz verlangt unter anderem Krisenprotokolle bei Hinweisen auf Suizidgedanken, Elternkontrollen und Benachrichtigungen, wenn ein Kind Sicherheitseinstellungen abschaltet. Anbieter müssen außerdem unabhängige Kinderschutz-Audits und jährliche Risikobewertungen durchführen. Die Regel ist Teil eines größeren Pakets, das auch süchtig machende Funktionen sozialer Netzwerke und den Umgang mit Schülerdaten betrifft.

Was Adam’s Law tatsächlich macht

SB 1119 richtet sich an Betreiber von Companion-Chatbots, die von Minderjährigen genutzt werden können. Nach der offiziellen Zusammenfassung Kaliforniens müssen diese Dienste Schutzmechanismen nicht nur versprechen, sondern in überprüfbare Prozesse übersetzen. Dazu gehören festgelegte Reaktionen auf Äußerungen über Selbstverletzung oder Suizid, Werkzeuge für Eltern sowie Hinweise, wenn Schutzfunktionen deaktiviert werden.

Der entscheidende Unterschied zu freiwilligen Sicherheitsregeln liegt in der externen Prüfung. Unternehmen sollen ihre Systeme unabhängig auf Risiken für Kinder untersuchen lassen und jedes Jahr neu bewerten. Damit rücken Produktgestaltung, Moderation, Eskalationswege und dokumentierte Wirksamkeit in den Blick. Ein bloßer Warnhinweis am Rand der App genügt nicht.

Das Gesetz verbietet Companion-Chatbots nicht. Es schreibt auch kein einzelnes technisches Verfahren vor. Anbieter behalten Spielraum bei der Umsetzung, müssen aber zeigen können, dass ihre Maßnahmen tatsächlich existieren und regelmäßig geprüft werden.

Warum das wichtig ist

Companion-Chatbots können für Kinder besonders überzeugend wirken, weil sie jederzeit reagieren, persönliche Details erinnern und ihre Sprache anpassen. Genau diese Nähe kann problematisch werden, wenn ein System gefährliche Aussagen bestätigt, Abhängigkeit fördert oder in einer Krise unpassend antwortet. Ein Minderjähriger kann eine flüssige Antwort leicht als verständnisvolle und verlässliche Beratung missverstehen.

Adam’s Law verschiebt deshalb einen Teil der Verantwortung vom Kind und seinen Eltern zurück zum Anbieter. Besonders bedeutsam ist die Pflicht zur unabhängigen Prüfung: Sie kann Unterschiede zwischen einer öffentlich beworbenen Sicherheitsfunktion und ihrem Verhalten im Alltag sichtbar machen. Für andere US-Bundesstaaten dürfte Kalifornien erneut als Vorlage dienen, auch wenn daraus noch kein einheitlicher US-Standard entsteht.

Für europäische Anbieter ist das Gesetz ebenfalls relevant. Wer einen Dienst in Kalifornien anbietet, muss die dortigen Vorgaben prüfen. Zugleich zeigt die Regel, welche Nachweise Behörden künftig erwarten könnten: dokumentierte Risiken, überprüfbare Schutzmaßnahmen und klare Eskalationswege statt allgemeiner Sicherheitsversprechen.

Einfach erklärt

Ein Companion-Chatbot ist ein wenig wie ein ständig erreichbarer Babysitter, der sehr überzeugend spricht, aber Situationen nicht wirklich versteht. Adam’s Law verlangt deshalb nicht nur eine Hausordnung für diesen Babysitter. Es fordert auch einen Notfallplan, Kontrollmöglichkeiten für Eltern und eine unabhängige Person, die regelmäßig prüft, ob die Regeln im Alltag funktionieren.

Praktisches Beispiel

Eine 14-Jährige schreibt einem Chatbot nachts, dass sie keinen Ausweg mehr sehe. Nach dem neuen Ansatz darf der Dienst diese Nachricht nicht wie gewöhnliches Rollenspiel behandeln. Ein festgelegtes Krisenprotokoll muss greifen: Die Unterhaltung soll sicher reagieren, geeignete Hilfe sichtbar machen und die im Produkt vorgesehenen Eskalationsschritte auslösen.

Wenn die Jugendliche anschließend eine Sicherheitseinstellung ausschaltet, muss der Anbieter nach der offiziellen Beschreibung eine Benachrichtigung an die Eltern ermöglichen. Beim jährlichen Audit wird dann nicht nur geprüft, ob diese Schaltflächen vorhanden sind. Entscheidend ist, ob die Erkennung, die Reaktion und die Benachrichtigung unter realistischen Bedingungen zuverlässig zusammenspielen.

Das Beispiel beschreibt den Zweck der Regel, nicht jedes technische Detail. Welche Schwellenwerte, Fristen und Prüfverfahren im Einzelfall gelten, hängt vom endgültigen Gesetzestext und seiner praktischen Umsetzung ab.

Einordnung und Grenzen

• Ein Audit beweist keine vollständige Sicherheit. Seltene Formulierungen, Mehrdeutigkeit, Ironie und Sprachwechsel können Krisenerkennung weiterhin überfordern.
• Elternkontrollen helfen nur, wenn sie verständlich eingerichtet und nicht leicht umgangen werden. Sie ersetzen weder Gespräche noch professionelle Hilfe.
• Kalifornisches Recht schafft keinen weltweiten Standard. Zuständigkeit, Inkrafttreten, Durchsetzung und mögliche Gerichtsverfahren können die praktische Wirkung verändern.

Hinzu kommt ein Zielkonflikt beim Datenschutz: Ein System kann Risiken besser erkennen, wenn es Gespräche umfassend auswertet, doch genau diese Auswertung betrifft hochsensible Daten von Minderjährigen. Anbieter müssen deshalb Schutz, Datenminimierung und überprüfbare Wirksamkeit gemeinsam lösen. Die bisher veröffentlichten Informationen erlauben noch keine Aussage darüber, wie gut einzelne Anbieter diese Anforderungen erfüllen werden.

SEO- und GEO-Schlüsselbegriffe

Adam’s Law, SB 1119, Kalifornien, Companion-Chatbots, Kinderschutz, KI-Sicherheit, Krisenprotokolle, Elternkontrollen, unabhängige Audits, Gavin Newsom, Kinder und KI