Nvidias Vera Rubin NVL72 debütiert bei MLPerf mit einer Inferenz-Behauptung von 3,7-fach

Am 16. September 2026 veröffentlichte MLCommons MLPerf Inference v6.1, die halbjährliche Prüfung, wie schnell Server Eingaben in Modellausgaben verwandeln. Dieselbe Veröffentlichung gab Nvidia eine Bühne für die Hardware, die es als Nächstes verkaufen will: eine erste Vorschau-Einreichung für Vera Rubin NVL72, das Rack-System, das auf Blackwell und GB300 folgt. Nvidia sagt, die Plattform habe beim Vision-Language-Benchmark Qwen3-VL bis zu 3,7-mal den Durchsatz von GB300 NVL72 erreicht und bei DeepSeek-R1 bis zu 2,5-mal.

Zum Weiterlesen: Nvidias DSX POD macht aus einer KI-Fabrik einen Frachtcontainer · Nvidias Anteil am chinesischen KI-Chipmarkt fällt auf 34 Prozent, Huawei holt auf.

Die Zahlen tragen einen Vorbehalt. Bei MLPerf ist „Preview" eine Verfügbarkeitskategorie für Hardware, die zum Zeitpunkt der Einreichung noch nicht ausgeliefert werden muss, sondern nur bis zur nächsten Runde allgemein verfügbar sein muss. Beide Schlagzeilenvergleiche von Nvidia richten sich gegen die eigene vorige Generation, nicht gegen ein aktuelles Konkurrenzprodukt, und das Unternehmen bezeichnet sie als frühe Ergebnisse. Sie wurden von MLCommons geprüft, sind aber nicht dasselbe wie eine Produktionseinreichung.

Was MLPerf Inference misst

Die Suite existiert, um Inferenzergebnisse vergleichbar zu machen. In der Closed Division müssen Einreicher dasselbe Modell wie die Referenzimplementierung ausführen und dieselben Genauigkeitsvorgaben einhalten, sodass Durchsatzunterschiede Hardware und Software widerspiegeln und nicht ein verändertes Modell. Rechenzentrumssysteme werden in den Szenarien Offline, Server und Interaktiv getestet. Offline misst den rohen Gesamtdurchsatz ohne Latenzbindung, Server ergänzt eine Poisson-Ankunftsrate und ein Latenzziel, und Interaktiv setzt eine strengere Anforderung an die Antwortzeit pro Token.

Diese Runde zog nach Angaben von MLCommons mit 30 einreichenden Organisationen und 486 Rechenzentrums- und Edge-Ergebnissen einen Rekord an. Sie fügte eine End-to-End-Pipeline für Retrieval-Augmented Generation hinzu sowie einen Edge-Agentic-Test nach Vorbild von Coding-Assistenten, und sie brachte erste von Experten geprüfte Zahlen für Nvidias Vera Rubin NVL72, AMDs Instinct MI350P, Intels Arc Pro B70 und AMDs Ryzen AI Max+ 395 (StorageReview). MLCommons sagte, das beste Server-Ergebnis für DeepSeek-R1 pro Beschleuniger sei 5,7-mal besser gewesen als ein Jahr zuvor, eine Erinnerung daran, dass sich der Benchmark mit der Branche bewegt, statt stillzustehen.

Die Suite verändert sich ebenfalls. In dieser Runde durften Einreicher ein API-zentriertes Harness verwenden, das einen echten Client-Server-Test gegen einen Live-Endpunkt ausführt, und 16 der 30 taten das. Dieses Harness ist die Grundlage von MLPerf Endpoints, das im Oktober 2026 bedarfsgesteuerte, fortlaufende Einreichungen eröffnet und MLPerf Inference 2027 als Rechenzentrums-Benchmark ablösen soll. Die Richtung geht dahin, die Pipelines zu messen, die Betreiber tatsächlich einsetzen, einschließlich mehrstufiger und agentischer Arbeitslasten, statt einzelner Modellaufrufe.

Nvidias erste Vera-Rubin-Zahlen

Nvidia reichte Vera-Rubin-Ergebnisse zu zwei Arbeitslasten ein, DeepSeek-R1 und Qwen3-VL. Bei Qwen3-VL nutzte es vLLM mit Dynamo, Nvidias Open-Source-Inferenzframework; bei DeepSeek-R1 die Bibliothek TensorRT-LLM. Die 3,7-fache Zahl ist der Spitzenwert über die Szenarien, kein gleichmäßiger Gewinn: Nvidias eigene Grafik zeigt Qwen3-VL bei etwa 1,8-mal GB300 im Offline-Szenario, 1,9-mal bei Server und 3,7-mal im Interaktiv-Szenario, wiedergegeben von Wccftech. Die Schlagzeilenzahl ist der Interaktiv-Fall, die leichteste Last und die empfindlichste gegenüber der Latenz pro Token.

Nvidia führt den Unterschied auf Designentscheidungen zurück, die für Mixture-of-Experts-Modelle zählen. Das Unternehmen sagt, Vera Rubin verbessere sowohl die Prefill- als auch die Decode-Phase durch erweiterte Tensor Cores und eine Transformer Engine, nutze NVFP4-Präzision, um den Speicherbedarf von Gewichten, Attention und KV-Cache zu senken, und stütze sich auf disaggregiertes Serving, das Prefill und Decode mit großer Expertenparallelität trennt. Die Scale-up-Domäne des Racks läuft über NVLink und NVLink Switch der sechsten Generation, die laut Nvidia 10-mal höhere Paketraten und 3-mal niedrigere Latenz als Standard-Ethernet liefern. Das Interconnect zählt hier, weil Expertenparallelität ein großes Volumen an Token zwischen GPUs bewegt, und ein langsames Fabric würde die Gewinne durch schnellere Rechenleistung zunichtemachen.

Nvidia war nicht der einzige Einreicher bei der Hardware. Nebius ließ DeepSeek-R1 auf 36 Rubin-GPUs über neun Knoten laufen und meldete 16.427 Token pro Sekunde pro GPU im Server-Szenario, was es als führendes Server-Ergebnis pro GPU bezeichnete. Da Vorschau-Einreichungen bei unterschiedlichen Clustergrößen liefen, ist der Durchsatz pro GPU der fairste Vergleich, und Nebius merkt an, dass sein Ergebnis dieselbe Vorschau-Kennzeichnung trug. Sein vollständiges 72-GPU-Rack GB300 NVL72 war dagegen eine Produktionseinreichung und belegte bei DeepSeek-R1 Server und Offline den ersten Platz, mit 603.023 und 689.961 Token pro Sekunde.

Nvidia verwies zudem über die förmlichen Ergebnisse hinaus. Es sagt, Vera Rubin NVL72 habe in Vorschautests bei SemiAnalysis AgentX, einem agentischen Test, 30-mal bessere Leistung als GB300 NVL72 geliefert. Diese Zahl ist nicht Teil der MLPerf-Einreichung und nicht mit den geprüften Ergebnissen vergleichbar. Nvidia erwartet, dass der kommende MLPerf-Endpoints-Benchmark standardisierte Messung in die agentische Inferenz bringt, genau die Art Arbeitslast, auf die seine 30-fach-Behauptung zielt.

Skalierung und Software als der Rest des Arguments

Nvidia rahmt die Inferenzökonomie um drei Hebel: Durchsatz pro Rack, Skalierungseffizienz beim Hinzufügen von Racks und Softwareverbesserung über die Zeit. Die Skalierungsbehauptung ist die konkreteste. Eine DeepSeek-R1-Einreichung skalierte von einem GB300-NVL72-Rack mit 72 GPUs auf vier Racks mit 288 GPUs und hielt im Offline-Szenario 99 Prozent Skalierungseffizienz. Die zugrunde liegenden Zahlen, 679.740 Token pro Sekunde auf einem Rack und 2.705.130 auf vier, zeigen einen Durchsatz, der fast proportional zur hinzugefügten Hardware steigt. Das zählt, weil GPUs der teure Teil sind: Brächte die Verdopplung der Rackzahl nur einen kleinen Durchsatzgewinn, würde sich das zweite Rack nicht bezahlt machen.

Der Softwarehebel ist real, aber für Käufer schwerer zu erkennen. Nvidia sagt, der Durchsatz von GB300 NVL72 bei Qwen3-VL sei gegenüber dem v6.0-Ergebnis um bis zu 1,6-mal gestiegen, durch niedrigere KV-Cache-Präzision, zusätzliche Kernel-Fusion und disaggregiertes Serving mit vLLM und Dynamo. Es veröffentlichte außerdem nach der Einreichung Zahlen zu GPT-OSS-120B und DLRMv3, die sich laut Nvidia weiter verbesserten, doch diese wurden nicht von MLCommons geprüft und sind als Anbieterangaben zu behandeln. Das Muster über die Runde hinweg, auch bei AMD und Intel zu sehen, ist, dass Software die Benchmarkwerte auf unveränderter Siliziumbasis weiter bewegt.

Eine Plattform der nächsten Generation in einem angespannten Speichermarkt

Vera Rubin NVL72 kombiniert die Rubin-GPU mit Nvidias Vera-CPU, die Ende August in großem Umfang auszuliefern begann. Nvidia nennt Vera seine „erste CPU, die für Agenten gebaut wurde", mit 88 eigenen Olympus-Kernen, 1,2 Terabyte pro Sekunde Speicherbandbreite und bis zu 1,8-mal schnellerer Leistung pro Kern bei agentischen Arbeitslasten. Im NVL72-Rack fungiert Vera als Host-Prozessor und verbindet sich über NVLink-C2C der zweiten Generation mit Paaren von Rubin-GPUs, in einer gemeinsamen Speicherarchitektur, die laut Nvidia die Beschleuniger versorgt hält.

Die Plattform kommt, während Speicher der knappste Teil des Stacks ist. Die Vertragspreise für Server-DRAM sind stark gestiegen, der Festpreis für 64-GB-DDR5-Servermodule lag Mitte September bei 1.500 Dollar, dem 5,5-Fachen des Vorjahresniveaus, und Silicon Analysts berichtet, dass SK Hynix seinen 16-fach gestapelten HBM4 in die Massenauslieferung für Vera Rubin gebracht hat. Das Speicherangebot bestimmt, wie schnell sich eines dieser Systeme bauen lässt, was die Bedeutung eines Durchsatzrekords pro Rack kurzfristig dämpft: Die Schranke für den Einsatz von Vera Rubin könnte die HBM-Zuteilung sein und nicht die Nachfrage nach seinen Token.

AMD und Intel antworten mit Skalierung und Software

AMDs Schlagzeilen-Einreichung war nicht Vera Rubins direkter Rivale, sondern eine größere Version seines aktuellen. Crusoe, ein erstmaliger MLPerf-Einreicher, ließ 512 Instinct MI355X GPUs über 64 Knoten auf Standard-Ethernet laufen und erreichte 5,75 Millionen Offline-Token pro Sekunde bei GPT-OSS-120B und 2,90 Millionen bei DeepSeek-R1. AMD sagt, das seien die höchsten eingereichten Gesamtdurchsätze an Token in der MLPerf-Geschichte, und der Cluster habe fast linear von einem auf 64 Knoten skaliert. Das 512-GPU-Ergebnis ist eine andere Art von Behauptung als die von Nvidia: Es misst, wie viel Durchsatz ein Betreiber zusammenstellen kann, nicht wie viel ein einzelnes Rack liefert.

AMD setzte zudem auf Softwarereife. Auf denselben acht MI355X GPUs meldete es einen GPT-OSS-120B-Durchsatz, der innerhalb eines einzigen MLPerf-Zyklus offline um 28 Prozent und bei Server um 38 Prozent stieg, und es sagt, 72 MI355X GPUs hätten in v6.1 den Durchsatz übertroffen, den 94 derselben GPUs in v6.0 erzielten. Intels Argument war fast ausschließlich Software. Es meldete, die Leistung von gpt-oss-120B auf denselben vier Arc Pro B70 GPUs habe sich bei Server um 36 Prozent und offline um 27 Prozent gegenüber v6.0 verbessert, und der Server-Durchsatz von Xeon 6980P bei Llama 3.1-8B sei auf identischem Silizium um das 2,4-Fache gestiegen. Intel bleibt der einzige eigenständige Server-CPU-Anbieter in der Suite, mit fünf Xeon-6-SKUs und 35 CPU-Ergebnissen.

Was das Vorschau-Label offen lässt

Zwei Vorbehalte sollten neben Nvidias Schlagzeile mitgelesen werden. Der erste: Es sind vom Anbieter gefahrene Ergebnisse auf einer festen Benchmark-Suite, auch wenn MLCommons sie prüft. MLPerf belohnt Durchsatz und Latenz bei bestimmten Modellen unter bestimmten Regeln, und ein darauf abgestimmtes System ist nicht automatisch die beste Wahl für den eigenen Arbeitslastmix, das Kostenziel oder das Latenzbudget eines Kunden. Der zweite ist der Vorschau-Status selbst: Vera Rubin NVL72 ist noch keine Produktionseinreichung, und sein eigentlicher Test kommt in der Runde, in der es allgemein verfügbar sein muss, mit angegebenen Anforderungen an Leistung, Kühlung und Konfiguration.

Was zu beobachten ist, liegt auf der Hand. Vera Rubins Vorteil sollte sich über eine volle Runde von Produktionsergebnissen halten, und die Speicherknappheit ist die Variable, die am wahrscheinlichsten entscheidet, wie schnell diese Hardware zahlende Kunden erreicht. AMDs und Intels Softwaregewinne zeigen, dass der Benchmark nicht statisch ist, was bedeutet, dass die heutigen Vergleichsverhältnisse in sechs Monaten anders aussehen werden. Vorerst ist das klarste Signal in v6.1 kein einzelner Sieger, sondern ein Feld, in dem sich Tempo, Skalierung und Software gleichzeitig weiterbewegen.