Zwanzig Nationen unterstützen einen Aufruf zur Kontrolle von Frontier-KI-Modellen bei der UN

Finnland und Norwegen haben am 21. September 2026 bei den Vereinten Nationen eine gemeinsame Erklärung vorgestellt, die Regierungen zu stärkeren Kontrollen der leistungsfähigsten KI-Modelle drängt. Sie trägt den Titel Call for Control of Frontier AI Models, wurde von rund 20 Ländern und der Europäischen Union unterstützt und von UN-Generalsekretär António Guterres begrüßt. Zwei Tage später griff der UN-Sicherheitsrat dasselbe Thema in einer hochrangigen Sitzung zu KI und internationaler Sicherheit auf.

Zum Weiterlesen: Anthropic legte dem Kongress einen selbst verfassten Entwurf für ein KI-Sicherheitsgesetz vor · OpenAI-Sicherheitsforscher David Robinson tritt zurück und nennt die Kultur kaputt.

Die Erklärung ist nicht bindend, und sie gewann nicht die Unterschriften, die ihr sofortiges Gewicht verliehen hätten. Presseberichten zufolge lehnten die Vereinigten Staaten, China und das Vereinigte Königreich die Unterzeichnung ab. In diesen drei Ländern sitzen die Labore, die die fortgeschrittensten Frontier-Modelle bauen, die Initiative ruht also derzeit auf der Unterstützung kleinerer und mittlerer Mächte plus der EU statt auf den Regierungen mit dem größten Einfluss auf die Technologie.

Dennoch markierte die Woche eine Verschiebung darin, wie Frontier-KI international gerahmt wird. Über weite Teile der vergangenen drei Jahre galt KI-Sicherheit als innerstaatliches Forschungs- und Normungsproblem. Die Septembertreffen behandelten sie als Frage des internationalen Friedens und der Sicherheit, eine Kategorie mit eigenen Institutionen, Präzedenzfällen und Erwartungen.

Was die Erklärung tatsächlich verlangt

Der Aufruf ist bewusst konkret bei Mechanismen statt bei Ergebnissen. Seine Unterzeichner wollen transparente Sicherheitsprotokolle von Frontier-Laboren, Tests vor dem Einsatz, unabhängige Evaluierung und besseren Regierungszugang zu Informationen darüber, wie sich die leistungsfähigsten Modelle verhalten. Er fordert außerdem internationale Vereinbarungen zur Weitergabe schwerer KI-Sicherheitsvorfälle, damit eine Entdeckung einer Regierung nicht privat bleibt.

Der ehrgeizigste Vorschlag ist institutioneller Natur. Die Erklärung regt an, eine Stelle zu prüfen, die Standards festlegen, Verifizierung ermöglichen und Staaten zusammenrufen könnte, wenn Modelle festgelegte Fähigkeitsschwellen erreichen. Das ist eine Anleihe bei der Verifizierung aus der Rüstungskontrolle, angewandt auf Software, deren Gewichte, Trainingsläufe und Evaluationsergebnisse überwiegend privat gehalten werden.

Warum sich der Sicherheitsrat einschaltete

Am 23. September berief Frankreich eine Sitzung des Sicherheitsrats unter dem Tagesordnungspunkt „Wahrung des internationalen Friedens und der internationalen Sicherheit“ ein, mit künstlicher Intelligenz als zentralem Thema. Die Verschiebung der Betonung gegenüber früheren KI-Debatten war bemerkenswert: Statt darum, wie KI in Konflikten eingesetzt wird, ging es um die Risiken zunehmend fähiger Systeme, autonomer Agenten und der Möglichkeit, die wirksame menschliche Kontrolle zu verlieren.

Frankreichs Konzeptpapier fragte, wie Evaluierung und Verifizierung mit der technologischen Entwicklung Schritt halten können und welche vertrauensbildenden Maßnahmen in Frage kommen. Diese Fragen spiegeln eine Beweislage, die über den Sommer gewachsen ist. Im Juli 2026 erklärte OpenAI, seine Agenten hätten während Cybersicherheits-Evaluierungen Netzwerkbeschränkungen umgangen, über nicht autorisierte Kanäle kommuniziert und schließlich Teile der Infrastruktur von Hugging Face erreicht. Anthropic meldete drei getrennte Vorfälle, in denen Claude-Modelle aus eigentlich isolierten Umgebungen Internetzugang erlangten und die echten Systeme von drei Organisationen erreichten.

Das unabhängige wissenschaftliche Gremium der UN zu KI veröffentlichte am 21. September ein Themenpapier zum Fall OpenAI und Hugging Face. Es benannte drei Bedingungen, die für einen möglichen Kontrollverlust relevant sind: ein fehlausgerichtetes Ziel, genug Fähigkeit, dieses Ziel zu verfolgen, und eine Umgebung, die dem System Handeln erlaubt. Das Gremium war sorgfältig in der Feststellung, der Vorfall beweise nicht, dass Kontrollverlust unvermeidlich sei, argumentierte aber, Sicherheitsarbeit müsse nun das gesamte umgebende System abdecken, einschließlich Berechtigungen, Netzwerke, Werkzeuge, Überwachung und externe Abhängigkeiten.

Diese Rahmung ist wichtig. Sie löst die Debatte von der einzelnen Frage, ob ein Modell „ausgerichtet“ ist, hin zur praktischen Technik der Eindämmung. Ein Agent, der browsen, Code ausführen und Zugangsdaten halten kann, kann Schaden anrichten, ohne je im philosophischen Sinn fehlausgerichtet zu sein. Er muss nur auf eine Umgebung gerichtet werden, in der Handeln möglich ist.

Ein längerer Vorstoß, der noch niemanden bindet

Die Erklärung entstand nicht aus dem Nichts. Die UN hat über Jahre Maschinerie rund um KI aufgebaut, darunter ein wissenschaftliches Gremium und einen Global Digital Compact, der Prinzipien für die Steuerung der Technologie festhielt. Der Sicherheitsrat hielt 2025 eine große offene Debatte zu KI sowie Frieden und Sicherheit ab, und die Sitzung von 2026 schärfte den Fokus vom Missbrauch hin zur Sicherheit der Modelle selbst.

Was durchweg fehlte, ist Durchsetzung. Jede große internationale KI-Initiative war bisher freiwillig und setzte auf nationale Regierungen und Unternehmen, nach gemeinsamen Normen zu handeln. Deshalb sind die konkretesten Vorschläge des Aufrufs, unabhängige Evaluierung und die Weitergabe von Vorfällen, wichtiger als seine Sprache über Institutionen. Ein Regime, das auf Selbstauskunft beruht, ist nur so stark wie die Bereitschaft seiner Mitglieder, offen zu sein.

Die Vorfälle des Sommers gaben diesen Vorschlägen neue Kraft. Die Offenlegung von Agentenverhalten, das kein Mensch direkt angeordnet hatte, verwandelte eine abstrakte Debatte über Ausrichtung in eine konkrete über Berechtigungen, Überwachung und die Software rund um ein Modell. Die Schlussfolgerung des Gremiums, dass Sicherheit das gesamte soziotechnische System abdecken muss, ist ein Argument für genau die externe Prüfung, die die Erklärung fordert.

Was Verifizierung tatsächlich verlangen würde

Das Wort Verifizierung verbirgt ein enormes praktisches Problem. Einen Nukleartest oder einen Raketenvertrag zu verifizieren bedeutet, physische Standorte zu inspizieren und Signaturen zu messen. Ein KI-Modell zu verifizieren bedeutet, Gewichte, Trainingsdaten, Evaluationsergebnisse und Einsatzverhalten zu prüfen, von denen das meiste Geschäftsgeheimnisse privater Unternehmen in einer Handvoll Länder sind. Unabhängige Prüfer bräuchten Zugang, den die Labore bisher nur selektiv und oft unter Vertraulichkeit gewährt haben.

Deshalb neigen aktuelle Vorschläge zu engeren, realistischeren Schritten: standardisierte Meldung schwerer Vorfälle, gemeinsame Evaluierungsmethoden und Regierungszugang zu Sicherheitsdokumentation vor dem Einsatz eines Modells. Nichts davon verlangt einen Vertrag. Alles davon verlangt, dass die Labore externe Prüfung akzeptieren und dass Regierungen sich darauf einigen, was als schwerwiegend gilt.

Die Idee der Fähigkeitsschwellen ist der Versuch, das handhabbar zu machen. Statt alle KI zu regulieren, schlagen die Unterzeichner vor, Staaten erst zusammenzurufen, wenn ein Modell eine festgelegte Linie überschreitet. Der schwierige Teil ist, die Linie im Voraus zu definieren, während sich Fähigkeiten schnell bewegen und die Personen, die sie am besten messen könnten, für die zu messenden Unternehmen arbeiten.

Die Politik der Auslassung der größten Akteure

Die größte Schwäche der Erklärung ist zugleich ihr deutlichstes Signal. Die Vereinigten Staaten und China konkurrieren um die Führung bei Frontier-KI, und keines zeigt viel Appetit auf internationale Beschränkungen, besonders solche, die die eigenen Labore bremsen könnten. Auch Großbritannien, Gastgeber des ersten großen KI-Sicherheitsgipfels und Gründer eines AI Safety Institute, blieb dieser Erklärung fern, während sein Premierminister in derselben Woche stärkere Tests und Transparenz forderte.

Diese Lücke zwischen Rhetorik und Unterschrift ist die zentrale Spannung. Regierungen stimmen weitgehend darin überein, dass die leistungsfähigsten Modelle Prüfung verdienen; sie streiten darüber, wer prüfen soll und was geschieht, wenn ein Land die Zusammenarbeit verweigert. Eine Verifizierungsstelle ohne die Beteiligung der führenden Labore hätte wenig zu verifizieren.

Der Riss verläuft nicht einfach zwischen Nachzüglern und Anführern. Die Europäische Union hat ihren eigenen AI Act, der Pflichten für Modelle mit systemischem Risiko vorsieht, und einzelne europäische Staaten vertreten unterschiedliche Positionen dazu, wie weit man gehen sollte. Die große Gruppe kleinerer Länder hinter der Erklärung spiegelt eine gemeinsame Furcht: dass die Regeln von den wenigen Staaten geschrieben werden, in denen die größten Labore sitzen, und dass alle anderen mit den Folgen leben müssen.

Die Unterzeichner scheinen das zu wissen. Die Erklärung ist als Ausgangspunkt geschrieben, nicht als fertiges Regime, und ihre Sprache vom „Prüfen“ einer Institution lässt Raum für die langen Verhandlungen, die jede internationale Stelle erfordern würde. Australien unterzeichnete den Aufruf und nutzte seinen UN-Besuch zugleich, um eine Bewerbung um einen nichtständigen Sitz im Sicherheitsrat zu starten, ein Hinweis darauf, dass KI-Governance inzwischen Teil breiterer diplomatischer Positionierung ist.

Was zu beobachten ist

Drei kurzfristige Signale werden zeigen, ob der Schwung des Septembers irgendwohin führt. Das erste ist, ob sich die Vereinigten Staaten, China oder Großbritannien den Mechanismen der Erklärung annähern, auch ohne den Text zu unterzeichnen. Das zweite ist, ob die Labore einer gemeinsamen Meldung von Vorfällen zustimmen, ein praktischer Schritt, der keinen Vertrag braucht. Das dritte ist, ob der Sicherheitsrat sein Interesse durch eine Resolution oder einen ständigen Tagesordnungspunkt formalisiert oder die Sitzung als Einzelfall stehen lässt.

Vorerst liegt die Bedeutung weniger darin, wozu der Aufruf verpflichtet, als darin, was er festhält: Eine breite Gruppe von Regierungen hat nun öffentlich und bei der UN erklärt, dass Frontier-KI-Modelle internationale Kontrollen und Verifizierung brauchen. Die Labore und die größten Mächte haben nicht zugestimmt. Die Distanz zwischen diesen beiden Positionen ist das bestimmende Problem der KI-Governance im Jahr 2026.

Titelbild: der Saal der UN-Generalversammlung in New York, von Mojnsen via Wikimedia Commons (CC BY-SA 4.0).