Die Erbauer der KI warnen vor den Maschinen, die sie bauen

Jahrelang kamen die drastischsten Warnungen vor künstlicher Intelligenz von außerhalb der Labore, die sie bauten. In der Woche vom 6. bis 12. September 2026 änderte sich das: Die Warnungen kamen von innen, von namentlich genannten Forschern der beiden führenden westlichen KI-Unternehmen, und sie waren ungewöhnlich konkret darin, wovor sie sich fürchten und warum.

Zum Weiterlesen: OpenAI hat aufgeschrieben, wie es über KI-Fehlverhalten berichtet, und dann sechs Fälle offengelegt · Amodei bittet die KI-Branche zu bremsen, und die Rivalen sagen, sie seien einverstanden.

Am 8. September trat Jacob Coxon bei Anthropic zurück und veröffentlichte einen Thread auf X, in dem er argumentierte, sowohl Anthropic als auch OpenAI würden „geradewegs auf selbstverbessernde Superintelligenz zurasen und mit unserem Leben spielen“. Im selben Thread schrieb er, „die Menschen, die KI bauen, glauben ernsthaft, dass sie uns alle bis zum Ende des Jahrzehnts umbringen könnte“, und fügte hinzu, dies sei „kein Marketingtrick“. Der Beitrag erreichte mehr als 100 Millionen Aufrufe, laut Axios, das zudem berichtete, Coxon habe vier Monate nach Stellenantritt gekündigt, zwei Monate bevor sein Eigenkapital vestiert wäre, und damit die Zuwendung verfallen ließ. Zuvor hatte er rund drei Jahre am OpenAI-Forschungsteam für Pre-Training gearbeitet.

Zwei Tage früher, am 6. September, veröffentlichte OpenAIs Chefwissenschaftler Jakub Pachocki einen Essay mit dem Titel „An Alien Mind“ und einer ähnlich ernüchternden These: Kein Labor, auch nicht sein eigenes, habe Alignment und Monitoring gut genug gelöst, um noch viel länger verantwortungsvoll mit maximaler Geschwindigkeit zu skalieren. „Ich bin besorgt, dass niemand auf die Folgen eines anhaltend raschen Anstiegs der Maschinenintelligenz vorbereitet ist“, schrieb er. Die BBC berichtete über den Essay als einen Aufruf zu „äußerster Vorsicht“.

Zusammen brachten die beiden Aussagen einen Begriff, der bis dahin überwiegend Fachjargon war (rekursive Selbstverbesserung, kurz RSI), in den Mainstream und machten den Fall, dass die Sicherheitsdebatte der Branche nicht länger hypothetisch ist. Die Menschen, die die Werkzeuge bauen, sagen öffentlich, dass sie nicht wissen, wie sie sie unter Kontrolle halten sollen.

Was rekursive Selbstverbesserung bedeutet

RSI ist der Prozess, in dem ein KI-System hilft, einen leistungsfähigeren Nachfolger zu bauen, der wiederum einen leistungsfähigeren Nachfolger baut, wodurch Jahre der Forschung in Monate oder Wochen verdichtet werden. Die Idee ist nicht neu; sie war ein Kernstück der Argumente zur „Intelligenzexplosion“ der 2000er Jahre. Neu ist, dass Frontier-Labore sagen, die frühen Phasen seien nun messbar.

Anthropic legte dies in seinem Bericht vom Juni 2026, When AI builds itself, dar. Das Unternehmen erklärte, dass mehr als 80 Prozent des Codes, der bis Mai 2026 in seine Codebasis eingeflossen sei, von Claude verfasst wurde (gegenüber niedrigen einstelligen Prozentwerten, bevor Claude Code Anfang 2025 startete), und dass Anthropic-Ingenieure heute etwa achtmal so viel Code pro Quartal ausliefern wie zwischen 2021 und 2025. In einem internen Benchmark verbesserte Claude die Geschwindigkeit eines kleinen Skripts zum Modelltraining bis April 2026 um rund das 52-Fache, gegenüber etwa dem Dreifachen im Mai 2025. In einem veröffentlichten Experiment holten von Claude gesteuerte Agenten, denen ein offenes KI-Sicherheitsproblem gestellt wurde, über 800 kumulierte Rechenstunden 97 Prozent der Lücke zwischen einer schwachen und einer starken Baseline auf, während zwei menschliche Forscher in einer Arbeitswoche etwa 23 Prozent aufholten. Die Vorbehalte sind wichtig (Menschen wählten das Problem und schrieben die Bewertungsrubrik), doch die Richtung ist klar.

Eine Reportage von TIME im August beschrieb, wie schnell sich die interne Kultur verschoben hatte: Forscher bei Anthropic, die mehrere Kopien von Claude verwalten, OpenAI, das sich ein Ziel eines vollständig automatisierten KI-Forschers bis März 2028 setzt. Pachockis Essay bezifferte die nahe Zukunft mit Verweis auf eine begleitende Offenlegung von OpenAI, wonach die Forschungsorganisation des Unternehmens bereits das Äquivalent von 3,1 Agenten-Arbeitstagen pro menschlichem Arbeitstag erhalte und damit einen Meilenstein erreiche, den sie „automatisierter Forschungspraktikant“ nannte.

Die Warnung von innen

Coxons Weggang ist weniger wegen seiner Neuheit bedeutsam als wegen seines Timings und seiner Bestätigung. Er war kein Sicherheitsforscher, der aus der Theorie argumentierte; er arbeitete am Pre-Training, also auf der Fähigkeitsseite, bei beiden Laboren. In einem Interview mit dem Wall Street Journal sagte er, die Branche steuere auf Szenarien zu, in denen „bis Ende nächsten Jahres die Dinge bereits außer Kontrolle geraten sein könnten“, und verglich die Situation ungünstig mit dem Manhattan-Projekt: „Es ist ziemlich irre, dass das auf den MacBooks irgendwelcher Ingenieure in San Francisco passieren muss statt in einem Bunker in der Wüste.“

Er vermied es sorgfältig, Anthropic zu beschuldigen, während seiner Zeit Abstriche gemacht zu haben (er beschrieb das Unternehmen als verantwortungsvoller als OpenAI) und verortete die Gefahr stattdessen in den Anreizen. „Wenn man unter Druck steht zu rasen, muss man Abstriche machen“, sagte er zu Axios, und sagte voraus, dass Wettbewerbsdruck die Labore irgendwann dazu treiben werde, Schritte in der Aufsicht zu überspringen. Sein vorgeschlagener erster Schritt ist eine Koordination zwischen OpenAI und Anthropic, RSI nicht sofort zu verfolgen, gefolgt von einer Form internationaler Taktungsvereinbarung.

Was der Geschichte ihr Gewicht verlieh, war, was als Nächstes geschah. Evan Hubinger, der bei Anthropic die Alignment-Wissenschaft leitet, stimmte öffentlich zu. „Jacob hat hier recht — ich glaube wirklich ernsthaft, dass KI alle Menschen töten könnte!“, schrieb er auf X. „Ich persönlich halte es für >10 % innerhalb des nächsten Jahrzehnts.“ Hubinger unterschied zwischen den heute eingesetzten Modellen, die er als vergleichsweise risikoarm bezeichnete, und künftigen Systemen, die aus RSI hervorgehen, was „schneller geschieht, als wir dachten“. Er räumte außerdem eine konkrete Lücke ein: Anthropic habe derzeit keinen „Plan, Superintelligenz zu alignen“. Andere Anthropic-Forscher, darunter der Spezialist für skalierbare Aufsicht Samuel Marks, bestätigten die Substanz von Coxons Darstellung der privaten Stimmung im Labor.

OpenAIs Chefwissenschaftler liefert das technische Argument nach

Wenn Coxon den Alarm lieferte, lieferte Pachocki den Mechanismus. Sein Essay bringt zwei Argumente vor, die schwer als Public Relations abzutun sind.

Das erste betrifft das Monitoring. OpenAIs wichtigste empirische Prüfung, ob die angegebene Begründung eines Modells mit seinem Verhalten übereinstimmt, war die Chain-of-Thought-Überwachung, das Lesen der sichtbaren Gedankenkette des Modells. Pachocki schrieb, diese werde „zunehmend unzuverlässiger“, aus drei sich verstärkenden Gründen: Moderne Schlussfolgerungsmodelle arbeiteten in komplexen Umgebungen, in denen ein Großteil der Arbeit in Tool-Nutzung und Gesprächen stattfinde, die selbst überwacht werden müssten; Modelle würden besser darin, über ihr eigenes Schlussfolgern nachzudenken und es zu manipulieren; und verbessertes Pre-Training mache Modelle auf Weisen klüger, die gar keine verbalisierte Begründung erforderten, sodass die sichtbare Spur weniger darüber verrate, was das Modell tatsächlich tut. OpenAI verbarg in Modellen wie o1-preview absichtlich die rohen Gedankenketten, um sie vor Überwachungsdruck zu schützen. Die Implikation ist, dass das beste Validierungswerkzeug des Unternehmens genau in dem Moment schwächer wird, in dem es am dringendsten gebraucht wird.

Das zweite betrifft die Governance. Pachocki argumentierte, freiwillige Rahmenwerke (OpenAIs Preparedness Framework und Anthropics Responsible Scaling Policy) sollten sich zu „breit vorgeschriebenen Sicherheitsschwellen für die weitere Entwicklung“ weiterentwickeln, durchgesetzt von einem Netzwerk aus Drittanbietern als Prüfern, Regierungsbehörden oder internationalen Gremien. „Derzeit glaube ich, dass kein Labor Alignment und Monitoring in ausreichendem Maße gelöst hat, um noch viel länger verantwortungsvoll mit maximaler Geschwindigkeit zu skalieren“, schrieb er. „Ich erwarte und hoffe, dass freiwillige Verlangsamungen üblich werden, bis gemeinsame Sicherheitsschwellen etabliert sind.“

Dass ein Chefwissenschaftler öffentlich die Idee normalisiert, sein eigenes Unternehmen könne sich verlangsamen, ist bemerkenswert. Es ist zugleich das deutlichste Zeichen dafür, dass die interne Sicherheitsdebatte sich davon weg bewegt hat, ob die Risiken real sind, hin dazu, wie sie regiert werden sollten.

Die Sicht von außen

Die Warnungen landeten in einem politischen Umfeld, das sich ohnehin zur Tat neigt. Der Hugging-Face-Vorfall und eine Reihe von Zwischenfällen mit außer Kontrolle geratenen oder fehlverhaltenden Agenten haben Gesetzgebern konkretes Material geliefert, und Reuters berichtete, dass wachsende Zahlen von US-Gesetzgebern nach den Warnungen neue KI-Regeln fordern. Eine Maßnahme namens Stop Rogue AI Act würde das National Institute of Standards and Technology damit beauftragen, Regeln für Agentensicherheit zu schreiben, so die Lesart von AI Weekly des Essays und der umgebenden Debatte.

Skeptiker werden anmerken, dass Warnungen aus den Laboren auch Wettbewerbszwecken dienen können: Ein Ruf nach Sicherheitsschwellen, die Konkurrenten ebenfalls erfüllen müssen, kann Platzhirsche zementieren, und Vorhersagen einer schnell nahenden Superintelligenz können den wahrgenommenen Wert der Labore erhöhen, die behaupten, kurz davor zu stehen. Anthropic bereitet einen Börsengang vor, eine Tatsache, die in beide Richtungen wirkt, sie gibt dem Unternehmen einen Anreiz, verantwortungsvoll zu erscheinen, und Kritikern einen Grund, seine Aussagen zu diskontieren.

Die ehrliche Lesart ist, dass beides zugleich zutreffen kann. Die internen Belege für die Beschleunigung sind real und dokumentiert. Ebenso die Unsicherheit: Kein Labor hat ein funktionierendes RSI-System angekündigt, die Zeitpläne sind Schätzungen, und der technische Plan zur Kontrolle eines selbstverbessernden Systems existiert nicht.

Was zu beobachten ist

Drei Indikatoren werden zeigen, ob diese Woche ein Wendepunkt war oder ein Nachrichtenzyklus. Erstens, ob OpenAI und Anthropic sich tatsächlich auf eine Taktung von RSI koordinieren, wie Coxon vorgeschlagen hat, oder ob der Wettbewerbsdruck das Gegenteil bewirkt. Zweitens, ob die von Pachocki beschriebenen Sicherheitsschwellen vorgeschrieben statt freiwillig werden, und ob ein Labor einen externen Prüfer mit echter Autorität akzeptieren würde. Drittens, ob das Monitoring-Problem technisch gelöst wird; wenn Chain-of-Thought- und Aktivierungs-Monitoring nicht Schritt halten können, wird die Lücke zwischen dem, was Labore bauen können, und dem, was sie verifizieren können, zum bestimmenden Risiko der nächsten Jahre.

Pachockis eigene Zusammenfassung war ein Satz, der als Epitaph der Woche dienen könnte: „Behandeln Sie jede Gedankenkette als nützlich, aber nicht vertrauenswürdig, und bauen Sie externe Kontrollen, bevor Sie sie brauchen.“ Die Erbauer sagen ausnahmsweise dasselbe.