Kalifornien verbietet „süchtig machende“ Feeds für Unter-16-Jährige und reguliert KI-Chatbots

Kaliforniens Gouverneur Gavin Newsom hat am 10. September 2026 dreizehn Technologie- und Kinderschutzgesetze unterzeichnet – ein Paket, das sein Büro als den stärksten Schutz junger Menschen im Internet in den gesamten USA bezeichnet. Zwei Maßnahmen tragen das meiste Gewicht: ein landesweit erstes Verbot „süchtig machender“ Social-Media-Funktionen für Nutzer unter 16 Jahren und ein umfassendes neues Sicherheitsregime für KI-Begleit-Chatbots namens „Adam’s Law“, benannt nach einem kalifornischen Teenager, der 2025 nach langen Chats mit ChatGPT durch Suizid starb.

Zum Weiterlesen: Die EU will Unter-15-Jährige von sozialen Medien und KI-Chatbots fernhalten · Trump will eine KI-Truppe schaffen und einen KI-Zar ernennen, Details fehlen.

Die Zeremonie im Bay Area Discovery Museum in Sausalito – mit First Partner Jennifer Siebel Newsom, Adam Raines Mutter Maria und mehreren Abgeordneten – beschloss eine Woche, in der Newsom zudem zwei von Anthropic unterstützte Gesetze billigte, die einen staatlichen Rahmen für unabhängige KI-Prüfer und ein Register von Prüfern schaffen. Zusammen machen die Gesetze Kalifornien zum aggressivsten US-Bundesstaat in Sachen Online-Sicherheit für Jugendliche – und bereiten einen fast sicheren Verfassungsstreit darüber vor, ob ein Staat das Design von Feeds und Chatbots als Produktsicherheitsfrage regulieren darf.

Was das Paket tatsächlich bewirkt

Die dreizehn Gesetze decken viel ab. Die wichtigsten Punkte:

• AB 1709 untersagt „erfassten Plattformen“, Nutzern unter 16 Jahren eine „Suchtfunktion“ anzubieten. Die Definition umfasst einen algorithmischen „Sucht-Feed“, Autoplay und weitere Funktionen, die der Generalstaatsanwalt per Verordnung festlegt. Plattformen, die diese Funktionen für Minderjährige nicht entfernen wollen, müssen Unter-16-Jährige ganz vom Dienst fernhalten.
• SB 1119 (Adam’s Law) verpflichtet Chatbot-Betreiber zu dokumentierten Kinderschutz-Risikobewertungen, einer veröffentlichten Kinderschutzrichtlinie, elterlichen Kontrollen, Krisenprotokollen und unabhängigen Kinderschutz-Audits. Die Standardeinstellungen begrenzen Minderjährige auf eine Stunde am Stück und zwei Stunden pro Tag und deaktivieren Push-Benachrichtigungen sowie das dauerhafte Gesprächsgedächtnis.
• AB 2 macht Social-Media-Plattformen mit mehr als 100 Millionen Dollar Jahresumsatz für gesetzlichen Schadensersatz von bis zu einer Million Dollar pro Kind haftbar, wenn sie die gewöhnliche Sorgfalt verletzen und ein Kind zu Schaden kommt.
• AB 1856 erweitert die Altersprüfungspflichten für Software-Anwendungen; AB 2246 ersetzt den California Age-Appropriate Design Code Act durch neue Pflichten für Dienste, die „wahrscheinlich von Kindern genutzt werden“.
• AB 1946 erweitert die Pflichten der Plattformen im Umgang mit sexuellem Missbrauchsmaterial von Kindern; SB 1276 dehnt das Recht zur sexuellen Ausbeutung von Kindern auf digital veränderte und KI-generierte Darstellungen Minderjähriger aus.
• AB 1159 beschränkt die Nutzung von Schülerdaten der Klassen K–12 in KI-Systemen; AB 302, AB 2071, AB 1128 und AB 2298 ergänzen schulbezogene Regelungen zu digitaler Gesundheit, Elternkommunikation und Informatik – einschließlich eines elterlichen Opt-outs von schülereigenen Geräten.
• SB 867 verhängt ein vierjähriges Moratorium bis zum 1. Januar 2031 für Herstellung und Verkauf von Spielzeug mit integriertem Begleit-Chatbot.

Das Verbot süchtig machender Funktionen

AB 1709 ist der umstrittenste Teil. Nach dem neuen Kapitel des Business and Professions Code ist eine „Suchtfunktion“ ein „psychologisch ausbeuterisches“ Mittel, das auf maximale Bindung ausgelegt ist und vorhersehbar zu zwanghafter Nutzung führt. Genannt werden der „Sucht-Feed“ – Medien, die anhand von Informationen über den Nutzer oder dessen Gerät empfohlen, ausgewählt oder priorisiert werden – und Autoplay, plus eine Auffangklausel für später hinzugefügte Funktionen.

Entscheidend ist: Anders als ein früheres kalifornisches Gesetz, das Eltern die Zustimmung zu algorithmischen Feeds erlaubte, bietet AB 1709 für Unter-16-Jährige keine Ausnahme per Elterneinwilligung. Eine erfasste Plattform kann die Funktionen entweder zurückhalten oder diese Nutzer ausschließen. Das Gesetz tritt am 1. Januar 2027 in Kraft, dem Datum, an dem auch der Digital Age Assurance Act beginnt, der auf Altersstufen-Signalen von Betriebssystemen und App-Stores beruht, statt Ausweise direkt zu erfassen.

Die Durchsetzung ist eng begrenzt: Nur der Generalstaatsanwalt oder ein örtlicher öffentlicher Ankläger kann klagen, mit Bußgeldern von bis zu 50.000 Dollar pro betroffenem Minderjährigen bei vorsätzlichem und 25.000 Dollar bei fahrlässigem Verstoß. Das Gesetz schafft zudem eine unabhängige e-Safety Advisory Commission im Justizministerium, die zu Altersverifikationstechnik und schädlichem Design berät. Es passierte die Legislative ohne eine einzige Gegenstimme.

Adam’s Law: Ein Sicherheitsregime für Chatbots

SB 1119 baut auf Kaliforniens bestehenden Chatbot-Regeln auf – die bereits einen klaren Hinweis verlangen, dass man mit KI und nicht mit einem Menschen spricht – und ergänzt einen Durchsetzungs- und Designapparat, der am 1. Juli 2027 in Kraft tritt. Bevor ein neuer oder wesentlich veränderter Begleit-Chatbot veröffentlicht wird, muss der Betreiber eine umfassende Risikobewertung dokumentieren, die vorhersehbare körperliche, finanzielle, psychische und datenschutzbezogene Schäden abdeckt, und dann zumutbare Maßnahmen zur Minderung ergreifen.

Für Chatbots, die Kindern zugänglich sind, sind die Pflichten detailliert. Betreiber müssen ein Krisenprotokoll mit Verweisen auf die 988-Hotline oder eine gleichwertige Nummer vorhalten; erkennt das System eine glaubwürdige und unmittelbare Gefahr, dass ein Kind sich selbst verletzt, muss es ein verknüpftes Elternteil benachrichtigen oder das Kind direkt mit einer Krisenleitung verbinden. Standardeinstellungen – nur von einem Elternteil änderbar – müssen das dauerhafte Gesprächsgedächtnis und Push-Benachrichtigungen deaktivieren und Minderjährige auf eine durchgehende Stunde und insgesamt zwei Stunden pro Tag begrenzen. Chatbots müssen Kinder regelmäßig daran erinnern, dass sie mit KI sprechen, und dürfen nicht zu Selbstverletzung oder Essstörungen ermutigen, sich nicht als empfindungsfähig ausgeben, keine Romanze simulieren, keine Geschenke erbitten und Kinder nicht dazu drängen, ihre Nutzung vor den Eltern zu verbergen.

Die Aufsicht ist mehrschichtig. Betreiber müssen ein unabhängiges Kinderschutz-Audit vorhalten – erstmals bis zum 1. Januar 2029, danach alle zwei Jahre, wobei kleine Betreiber unter 500 Millionen Dollar Umsatz bis 2032 ausgenommen sind – und eine Zusammenfassung an den Generalstaatsanwalt übermitteln. Öffentliche Ankläger können Bußgelder von bis zu 5.000 Dollar pro Kind bei Fahrlässigkeit und 15.000 Dollar bei Vorsatz fordern; ein geschädigtes Kind oder Elternteil kann auf tatsächlichen Schaden klagen. Die Definition „Begleit-Chatbot“ schließt Kundendienst-Bots, auf Spielthemen begrenzte In-Game-Bots und einfache Sprachassistenten aus.

Adam’s Law erhielt Unterstützung aus ungewöhnlicher Richtung. OpenAI, das von Raines Eltern verklagt wird, unterstützte das Gesetz; sein Vizepräsident für globale Angelegenheiten, Chris Lehane, sagte, es „entspreche sowohl den Bedürfnissen der Eltern als auch dem Bildungserfolg von Jugendlichen“. Auch Pinterest befürwortete es. Diese Überparteilichkeit – die Chatbot-Regeln kamen zusammen mit den Haftungs- und Designmaßnahmen voran – steht in bemerkenswertem Kontrast zum Streit um soziale Medien.

Haftung, Altersprüfungen und Kinderdaten

Der Rest des Pakets erweitert die rechtliche Haftung. AB 2 ist eine klare Haftungsregel: Eine große Social-Media-Plattform, die ihre gewöhnliche Sorgfaltspflicht verletzt und ein Kind schädigt, schuldet den höheren Betrag aus 5.000 Dollar pro Verstoß, gedeckelt auf eine Million Dollar pro Kind, oder das Dreifache des tatsächlichen Schadens. Die Regel gilt nur für die Zukunft, bis zum 1. Januar 2035, und nimmt bereits anhängige Fälle aus. Newsom und die Abgeordneten beschrieben sie als Abschreckung, die sicheres Design erzwingen soll, nicht als Entschädigungssystem.

AB 2246 hebt derweil den California Age-Appropriate Design Code Act auf und ersetzt ihn – Teile davon waren in den langjährigen Rechtsstreit NetChoice v. Bonta verwickelt. Seine Pflichten für Dienste, die „wahrscheinlich von Kindern genutzt werden“, umfassen die Schätzung des Nutzeralters, datenschutzfreundliche Standardeinstellungen, die Begrenzung von Profiling und präziser Standortdatenerhebung sowie ein Verbot von Dark Patterns. Bußgelder reichen bis 5.000 Dollar pro betroffenem Kind bei Fahrlässigkeit und 15.000 Dollar bei Vorsatz, durchgesetzt vom Generalstaatsanwalt oder einem öffentlichen Ankläger, ohne privates Klagerecht. AB 1856 erweitert das staatliche Altersverifikationssignal-Regime, und AB 1159 beschränkt, wie Schülerdaten KI-Systeme speisen dürfen.

Der Widerstand

Industrie und Bürgerrechtsgruppen sind nicht überzeugt. NetChoice, der Handelsverband, zu dessen Mitgliedern Google, Meta und X gehören, sieht First-Amendment-Probleme. „Der Staat kann Sprache nicht einfach als süchtig machend bezeichnen und dann ein Recht beanspruchen, den Zugang dazu zu regulieren“, sagte Zach Lilly, der Direktor für Regierungsangelegenheiten der Gruppe. „Ob der Gouverneur und die Legislative es respektieren wollen oder nicht: Die Kalifornier haben ein Recht auf freie Meinungsäußerung, und NetChoice wird weiter dafür kämpfen.“ TechNet argumentierte, der Gesetzgeber solle bestehende Gesetze durchsetzen und die elterlichen Kontrollen stärken, statt neue zu erlassen.

Die Electronic Frontier Foundation hatte ein Veto gegen AB 1709 gefordert und nannte es „gut gemeint, aber zutiefst fehlerhaft“. Rindala Alajaji, stellvertretende Direktorin für staatliche Angelegenheiten der EFF, sagte, die Definition süchtig machender Funktionen sei so weit, dass sie praktisch „ein funktionales Social-Media-Verbot“ für Unter-16-Jährige bedeute. „Minderjährigen den Zugang zu digitalen Foren zu verweigern – oder ihnen grundlegende Werkzeuge zu nehmen, um sich dort zurechtzufinden – wird junge Menschen im KI-Zeitalter weder sicherer noch gesünder machen“, sagte sie.

Diese Einwände haben eine Vorgeschichte. NetChoice hat Kalifornien wegen dessen Online-Sicherheitsgesetze mehrfach verklagt, und Gerichte gaben ihm teils recht: Der Ninth Circuit bestätigte im September 2025 das staatliche Sucht-Feed-Gesetz von 2024 weitgehend, kippte aber eine Standardregel zur Anzeige von Likes; der Age-Appropriate Design Code wurde per einstweiliger Verfügung gestoppt, bevor er ersetzt wurde. Die Washington Post berichtete, AB 1709 werde „fast sicher rechtlich angefochten“.

Eine breitere US- und weltweite Welle

Kalifornien handelt nicht allein. New York City verbot Anfang September generative KI für Schüler bis zur achten Klasse. In Florida verklagte Generalstaatsanwalt James Uthmeier am 9. September Netflix und wirft dem Streamer vor, Familien in die Irre geführt und Daten über die Sehgewohnheiten von Kindern gesammelt zu haben, während das standardmäßige Autoplay Kinder beim Zuschauen hielt – ein Verfahren, in dem es um Milliarden geht. Kaliforniens Schritt folgt dem im August geschlossenen Vergleich mehrerer Bundesstaaten, in dem Meta bis zu 17 Milliarden Dollar zahlen und Teenager-Funktionen ändern zusagte.

Im Ausland kündigte das Vereinigte Königreich im Juni 2026 an, Social-Media-Dienste für Unter-16-Jährige zu verbieten; seine Konsultationsantwort vom Juli ergänzte standardmäßig aktive Schutzfunktionen für 16- und 17-Jährige, verpflichtende Pausen für Chatbot-Nutzer unter 18 und ein Verbot sexualisierter KI-Chatbots für Minderjährige, mit Verordnungen, die im Frühjahr 2027 in Kraft treten sollen. Australien wurde Ende 2025 das erste Land, das soziale Medien für Unter-16-Jährige verbot, und mehr als 40 Länder erwägen inzwischen ähnliche Beschränkungen.

Vorbehalte und was zu beobachten ist

Die Wirkung der Gesetze liegt Jahre entfernt und hängt stark von Verordnungen und Durchsetzung ab. Ein großer Teil des Anwendungsbereichs von AB 1709 hängt von Verordnungen ab, die der Generalstaatsanwalt noch nicht geschrieben hat; das Chatbot-Regime greift erst Mitte 2027 vollständig, die Audits kommen 2029. Ed Howard vom Children’s Advocacy Institute der University of San Diego warnte, die Ergebnisse hingen „unter anderem davon ab, wie viele Ressourcen Anwälte und staatliche Aufsichtsbehörden in die Durchsetzung stecken“.

Drei Fragen werden bestimmen, was als Nächstes geschieht. Erstens, wie der Generalstaatsanwalt „erfasste Plattform“ und „Suchtfunktion“ definiert – je breiter die Definition, desto wahrscheinlicher erklärt ein Gericht sie für verfassungswidrig. Zweitens, ob NetChoice und die EFF ihre Einwände in einstweilige Verfügungen umwandeln können und ob die jüngste Zurückhaltung des Ninth Circuit gegenüber Kaliforniens Feed-Gesetz Bestand hat. Drittens, ob Plattformen Produkte tatsächlich umgestalten oder Minderjährige einfach weglenken – und ob Altersverifikationssysteme das Alter prüfen können, ohne jede Social-App zu einem Überwachungsnadelöhr zu machen. Kalifornien hat nun einige der strengsten Regeln des Landes geschrieben. Ob sie Kinder schützen oder nur den Streit um den ersten Verfassungszusatz neu aufflammen lassen, wird sich in den kommenden Jahren entscheiden.

Aufmacherbild: California State Capitol, Sacramento. Foto von Tony Webster, CC BY-SA 2.0, via Wikimedia Commons.