Nvidia legt das Rezept hinter seinem mathematischen Goldmedaillen-System bei der IMO offen

Forscher von Nvidia haben einen vollständigen Bericht über das System veröffentlicht, das sein Modell Nemotron 3 Ultra bei der Internationalen Mathematik-Olympiade 2026 zu einer Goldmedaille führte, und fast alles freigegeben, was für einen Nachbau nötig ist. Der technische Bericht erschien am 9. September auf arXiv, begleitet von zwei nachtrainierten Modell-Checkpoints, den Trainingsdaten, der Inferenz-Pipeline, den beim Wettbewerb eingereichten Beweisen und einem neuen Benchmark mit 200 zuvor unveröffentlichten Olympiade-Aufgaben.

Zum Weiterlesen: Die Woche in Tech: Der Ausbau trifft auf seine Bilanz · Genie 4 verleiht DeepMinds Weltmodell Ton und Echtzeit-Steuerung.

Das System erreichte 30 von 42 Punkten, oberhalb der Goldschwelle von 29 Punkten, wobei alle eingereichten Beweise von offiziellen IMO-Bewertern benotet wurden. Es erzielte die volle Punktzahl bei den Aufgaben 1, 2, 4 und 5 sowie je einen Punkt bei den Aufgaben 3 und 6. Bemerkenswert ist nicht nur das Ergebnis, sondern die Methode: Die Pipeline arbeitete vollständig in natürlicher Sprache, ohne formalen Beweisassistenten, ohne externe Werkzeuge und ohne Internetzugang.

Das ist ein bewusster Kontrast zu dem Ansatz, der frühere Schlagzeilen in der mathematischen KI hervorbrachte. Systeme, die auf formaler Verifikation aufbauen und Probleme in maschinell prüfbare Sprache übersetzen, erreichten 2024 bei der IMO Silbermedaillenniveau. Der Wettbewerb 2025 war der erste, bei dem Modelle für natürliche Sprache die Goldschwelle überschritten. Nvidias Beitrag besteht darin, zu zeigen, wie weit eine offene, reproduzierbare Version dieses zweiten Ansatzes kommen kann.

Ein System, kein einzelnes Modell

Der wichtigste Vorbehalt im Bericht ist, dass die 30 von 42 Punkten ein Systemergebnis sind. Kein einzelner Checkpoint hat es erzielt. Die Pipeline stützt sich auf drei Checkpoints von Nvidia Nemotron 3 Ultra, einer Modellfamilie mit 550 Milliarden Parametern, von denen 55 Milliarden gleichzeitig aktiv sind. Einer ist das allgemein verfügbare Basismodell. Die beiden anderen sind Spezialisten, die die Forscher nachtrainiert haben: einer durch überwachtes Feintuning auf einem beweisorientierten Korpus, der andere durch bestärkendes Lernen. Die beiden Spezialisten sind unter der Lizenz OpenMDW-1.1 freigegeben.

Das Inferenz-Design kombiniert Erzeugung, Verifikation und Verfeinerung. In der ersten Suchrunde zieht das System 384 Kandidatenbeweise pro Aufgabe: 16 Versuche aus jedem von acht Lösungsstrategie-Prompts, ausgeführt über alle drei Checkpoints. Ein Verifikationsgremium aus den beiden Spezialisten-Checkpoints bewertet anschließend jeden Kandidaten. Ein Beweis kommt nur weiter, wenn alle 16 unabhängigen Urteile des Gremiums ihn als korrekt einstufen. Die überlebenden Kandidaten werden anhand der schriftlichen Kritiken des Gremiums verfeinert, und der Beweispool wächst über die Runden hinweg, bis einer einstimmig akzeptiert wird.

Eine separate Phase mit hohem Rechenaufwand bewertet dann jeden Finalisten neu. Jeder Checkpoint erzeugt 16 Urteile im IMO-Stil auf einer Skala von 0 bis 7, also 48 Urteile pro Finalist, und der höchste Durchschnittswert gewinnt, wobei bei Gleichstand der kürzere Beweis bevorzugt wird.

Was die Ablationsstudien zeigen

Der Wert des Berichts liegt in seinen Ablationen, den Experimenten, die isolieren, welche Entscheidungen zählten. Auf einem Entwicklungsdatensatz mit 30 Aufgaben, bewertet von einem unabhängigen Gremium aus drei kommerziellen Modellen, war der Spezialist für bestärkendes Lernen die beste Einzel-Checkpoint-Pipeline von Anfang bis Ende und erzielte 180 von möglichen 210 Jury-Punkten gegenüber 165 für den feingetunten Spezialisten und 162 für das Basismodell. Der feingetunte Checkpoint löste dagegen mehr Aufgaben in der ersten Runde, was nahelegt, dass die beiden Spezialisten unterschiedlich zur Suche beitragen.

Die Verifikation war die andere entscheidende Variable. Auf einem Audit-Datensatz mit 300 Beweisen senkte das kombinierte Gremium aus RL und SFT die Falschakzeptanzrate, jenen Fehlermodus, bei dem die Suche mit einem ungültigen Beweis endet, auf etwa 1,1 Prozent. Allein die Bewertung durch den RL-Checkpoint ergab eine Falschakzeptanzrate von 12,4 Prozent, das Basismodell 31,6 Prozent. Die Forscher schließen daraus, dass die beiden selektiven Spezialisten die Fehler des jeweils anderen unter einer Einstimmigkeitsregel abfangen, was mehr zählt als die rohe Erzeugungsqualität.

Der Bericht ist zudem offen darüber, was nicht half. Aufwendigeres Routing zwischen den Checkpoints veränderte das frühe Suchverhalten, ohne die endgültige Abdeckung zu verbessern, und aggressives Filtern von Kandidatenbeweisen verwarf Versuche, die später zu korrekten Lösungen führten.

Die Rechenrechnung

Der Wettbewerbslauf war teuer. Alle sechs eingereichten Beweise wurden innerhalb von rund 707 Millionen erzeugten Tokens und 1.464 GB200-GPU-Stunden gefunden. Der Abschluss der bereits laufenden Runden brachte den gesamten Lauf auf etwa 2,31 Milliarden Tokens und 4.800 GB200-GPU-Stunden. Die Forscher veröffentlichten die Ressourcenabrechnung zusammen mit dem Code, was ungewöhnlich und nützlich ist: Andere Labore können so abschätzen, was ein Lauf in Wettbewerbsqualität kostet, bevor sie einen versuchen.

Auch der Betrieb ist nicht trivial. Das Ausführen der Checkpoints erfordert rund 1,5 Terabyte High-Bandwidth-Memory, etwa einen einzelnen Knoten mit acht B200-GPUs, und die Freigabe ist selbst gehostet, ohne gehostete API oder Preisliste.

Natürliche Sprache versus formale Verifikation

Die Entscheidung, ohne formalen Beweiser zu arbeiten, ist die folgenreichste Designentscheidung im Bericht. Formale Methoden, bei denen ein Beweis in eine Sprache wie Lean übersetzt und von Software geprüft wird, haben einen großen Vorteil: Ein verifizierter Beweis ist konstruktionsbedingt korrekt. Sie haben auch einen hohen Preis. Ein Wettbewerbsproblem in formale Sprache zu übersetzen ist langsam und erfordert viel Können, und ein System, das nur in diesem Medium arbeiten kann, ist für einen Mathematiker von begrenztem Nutzen, der eine Frage in gewöhnlicher Prosa stellen möchte.

Systeme für natürliche Sprache tauschen Gewissheit gegen Reichweite. Ihre Ausgabe liest sich wie eine menschliche Lösung, was die Prüfung und Veröffentlichung erleichtert, doch sie muss mit anderen Mitteln beurteilt werden. Nvidias Antwort ist statistisch: mehrere Checkpoints als Richter einsetzen, Einstimmigkeit verlangen und unter den Finalisten mit einem großen Gremium auswählen. Die Falschakzeptanzzahlen zeigen, warum dieser Apparat nötig ist. Ein einzelnes Modell, das Beweise bewertet, akzeptierte falsche Antworten weit häufiger als das kombinierte Gremium, und der Fehlermodus ist gravierend, weil eine Suche, die einen ungültigen Beweis für abgeschlossen hält, aufhört, nach einem korrekten zu suchen.

Der Ansatz hat zudem eine Verifikationslücke, die keine noch so große Prüfung vollständig schließt. Ein Gremium aus Sprachmodellen kann sich gemeinsam irren, besonders bei einem Problem nahe der Grenze des für sie Lösbaren. Der stärkste Beleg für das IMO-Ergebnis ist deshalb nicht das Selbstvertrauen des Systems, sondern die offiziellen Bewerter, die die Punkte vergaben. Für die Forschung ist der Unterschied wichtig: Eine Pipeline für natürliche Sprache ist ein Mittel, um Kandidaten und Rückmeldungen zu erzeugen, kein Ersatz für die Prüfung eines Ergebnisses, von dem eine wichtige Entscheidung abhängt.

Die Open-Model-Strategie

Die Checkpoints, Daten und den Code unter einer permissiven Lizenz freizugeben, passt zu der Art, wie Nvidia seine Nemotron-Familie positioniert hat: offene Gewichte, um die Nachfrage nach der Hardware zu wecken, auf der sie laufen. Die kommerzielle Logik ist geradlinig. Ein Unternehmen, das GPUs verkauft, profitiert davon, wenn fähige offene Modelle existieren, weil sie die Hürde senken, auf Nvidias Plattform aufzubauen, und Kunden einen Grund geben, Rechenleistung zu kaufen statt zu mieten.

Diese Strategie hat einen Preis. Ist das Rezept erst öffentlich, kann jeder mit der Hardware es reproduzieren oder verbessern, auch Labore, die mit Nvidias Kunden konkurrieren. Die Forscher scheinen den Tausch akzeptiert zu haben und wetten darauf, dass die Reputations- und Ökosystemgewinne eines offenen, reproduzierbaren Ergebnisses das Risiko aufwiegen, Wettbewerbern eine Vorlage zu liefern. Ob diese Wette aufgeht, hängt weniger vom IMO-Ergebnis ab als davon, wie viele Teams das Rezept übernehmen und berichten, was sie finden.

Der Benchmark könnte das Ergebnis überdauern

Das haltbarste Artefakt dürfte Nemotron-IMO-Bench sein, ein Satz von 200 Aufgaben auf Olympiade-Niveau, gleichmäßig verteilt auf Algebra, Kombinatorik, Geometrie und Zahlentheorie, jede mit einem von Menschen kuratierten Referenzbeweis. Die Aufgaben wurden mit dem Mathematiker Titu Andreescu erstellt und unveröffentlicht gehalten, damit sie in keinem Trainingskorpus auftauchen können. Kontamination, das Risiko, dass die Fragen eines Benchmarks in die Trainingsdaten eines Modells gelangt sind, ist zu einem zentralen Problem bei der Bewertung von Mathe- und Coding-Modellen geworden, und ein frischer, zurückgehaltener Aufgabensatz ist genau das, woran es der Disziplin gemangelt hat.

Die unabhängige Reproduktion ist der naheliegende nächste Test. Jede Leistungszahl in der Veröffentlichung stammt aus Nvidias eigenem Bericht. Das IMO-Ergebnis hat die stärkste Herkunft, weil es unter Wettbewerbsbedingungen benotet wurde, doch kein externes Labor hat das Rezept bisher von Anfang bis Ende nachvollzogen und ein Ergebnis auf dem neuen Benchmark gemeldet. Bis dahin sollte das Resultat als ehrlicher Bericht über einen einzelnen Lauf in Frontier-Größenordnung gelesen werden, nicht als gesicherte Fähigkeitsaussage.

Warum es über die Medaille hinaus zählt

Das Ergebnis fällt in eine Woche, in der KI und Mathematik selten stärker verflochten waren. Am 8. September erklärte OpenAI, ein Schwarm von rund 10.000 Agenten habe eine Lösung für ein altbekanntes Problem der Navier-Stokes-Gleichungen gefunden, eine Behauptung, die formal in Lean geprüft, aber vom Clay Mathematics Institute noch nicht unabhängig anerkannt ist. Nvidias Arbeit weist in eine andere Richtung: nicht auf einen einzelnen dramatischen Beweis, sondern auf eine reproduzierbare Pipeline, die Inferenz-Rechenleistung in mathematische Ergebnisse verwandelt und dann den gesamten Apparat zur Prüfung durch andere öffnet.

Diese Transparenz ist die eigentliche Nachricht. Eine Goldmedaille ist eine Schlagzeile; ein veröffentlichtes Trainingsrezept, ein zurückgehaltener Benchmark und ein detailliertes Rechenbudget sind Werkzeuge, auf denen andere Forscher aufbauen können. Wenn sich das Rezept reproduziert, wird die stille Veröffentlichung dieser Woche folgenreicher erscheinen als das Ergebnis, das sie ausgelöst hat.