Mixture of Experts, erklärt: Warum die größten KI-Modelle nur einen Teil von sich aktivieren

Für den Großteil der Geschichte des Deep Learning hatte ein Sprachmodell nur einen Regler, der zählte: die Größe. Mehr Parameter bedeuteten mehr Wissen, und das Modell auszuführen hieß, für jeden Token jeden Parameter anzufassen. Dieser Handel brachte GPT-3, PaLM und eine Generation großer dichter Transformer hervor, und er errichtete zugleich eine Wand. Jenseits von ein paar hundert Milliarden Parametern steigen Rechenaufwand und Speicherbedarf für die Erzeugung jedes Tokens mit der Parameterzahl, und die Inferenzkosten beginnen die Trainingskosten zu überragen.

Zum Weiterlesen: OpenAI-Umsatz unter den Erwartungen schickt KI-Aktien auf Talfahrt · Moonshots Kimi K3 erreicht Amazon Bedrock mit Prompt-Caching für offene Gewichte.

Sparse Mixture-of-Experts (MoE) ist der wichtigste Weg, auf dem die Branche diese Wand überwunden hat. In einem MoE-Modell wird das einzelne Feed-Forward-Netzwerk jeder Transformer-Schicht durch viele kleinere Feed-Forward-Netzwerke, sogenannte Experten, ersetzt, dazu ein kleiner Router, der jeden Token nur an einige von ihnen schickt. Das Modell kann hunderte Milliarden oder Billionen Parameter halten und dabei die Rechenarbeit eines viel kleineren Modells verrichten. Diese Wahl hat Folgen für Speicher, Lastverteilung und Serving-Kosten, und diese Folgen erklären, warum MoE an der Spitze heute Standard ist.

Dicht gegen sparse: der Kompromiss in einem Absatz

Ein dichtes Modell nutzt bei jedem Token alle seine Parameter. Füttert man ein dichtes Modell mit 70 Milliarden Parametern mit einem Token, rechnet es 70 Milliarden Parameter Matrixmathematik, um den nächsten zu erzeugen. Kapazität und Rechenaufwand sind dasselbe.

Ein Sparse-MoE-Modell löst diese Verbindung. Die Attention-Schichten bleiben dicht und geteilt. Die Feed-Forward-Schichten, in denen die meisten Parameter eines Transformers liegen, werden zu einer Gruppe von Experten. Der Router entscheidet pro Token und pro Schicht, welche Experten laufen. Die Gesamtparameter messen die Kapazität des Modells, während die aktivierten (oder aktiven) Parameter messen, was die Verarbeitung eines Tokens kostet. MoE lässt die erste Zahl viel schneller wachsen als die zweite.

Zwei Begriffe lohnt es, vorab festzuhalten. Ein Experte ist ein kleines Feed-Forward-Netzwerk, meist mit derselben Architektur wie der dichte Block, den es ersetzt, aber mit eigenen Gewichten. Top-k-Routing bedeutet, dass der Router die k am höchsten bewerteten Experten für jeden Token behält: Top-1 schickt einen Token zu einem Experten, Top-2 zu zwei, und so weiter. Die Bewertungen des Routers gewichten auch, wie die Ausgaben der ausgewählten Experten kombiniert werden.

Ein durchgerechnetes Beispiel: Mixtral 8x7B

Mistral AIs Mixtral 8x7B, veröffentlicht im Dezember 2023, machte die Idee für Open-Weight-Modelle greifbar. Jede Schicht enthält 8 Feed-Forward-Expertenblöcke. Für jeden Token wählt ein Router die Top 2. Das Modell hat 46,7 Milliarden Gesamtparameter, führt pro Token aber nur 12,9 Milliarden davon aus, etwa 28 Prozent. Mistral berichtete, dass es Llama 2 70B bei den meisten Benchmarks erreichte oder übertraf, während es zur Inferenz etwa fünfmal weniger aktive Parameter nutzte.

Der Name ist etwas irreführend. „8x7B“ bedeutet nicht acht unabhängige 7B-Modelle. Router, Attention-Schichten und Embeddings werden über die Experten geteilt, weshalb die Summe 46,7B statt 56B und die aktive Zahl 12,9B statt 14B beträgt.

DeepSeek-V3, veröffentlicht im Dezember 2024, treibt dieselbe Idee weiter. Jede MoE-Schicht hat 256 geroutete Experten plus 1 geteilten Experten, der immer läuft. Pro Token aktiviert das Modell den geteilten Experten und die Top-8 der gerouteten Experten. Das ergibt 671 Milliarden Gesamtparameter und 37 Milliarden aktivierte pro Token, etwa 5,5 Prozent. Die feingranulare Aufteilung, eingeführt im DeepSeekMoE-Paper, gibt dem Router weit mehr Möglichkeiten, Fachwissen zu kombinieren, als eine Handvoll großer Experten es könnte, und der geteilte Experte übernimmt gemeinsame Muster, damit die gerouteten Experten sie nicht jeweils neu lernen müssen.

Wenn ein Experte überläuft: Kapazitätsfaktor und Token-Dropping

Routing ist datenabhängig, und das erzeugt ein Planungsproblem. Ein Batch von Tokens verteilt sich nicht gleichmäßig auf die Experten. Ist ein Experte beliebt, kann er weit mehr Tokens erhalten als die anderen.

Produktive MoE-Schichten lösen dies mit einem festen Puffer pro Experte. Jedem Experten wird eine Kapazität zugewiesen, die (Tokens pro Batch / Anzahl der Experten) multipliziert mit einem Kapazitätsfaktor entspricht. Angenommen, ein Batch hat 4.096 Tokens, die Schicht hat 8 Experten und das Routing ist Top-2. Im Durchschnitt würde jeder Experte (4.096 × 2) / 8 = 1.024 Tokens erhalten. Bei einem Kapazitätsfaktor von 1,0 ist 1.024 der Puffer; kommen 1.300 Tokens bei einem Experten an, werden die überschüssigen 276 in dieser Schicht verworfen und laufen unverändert durch die Residualverbindung. Ein Kapazitätsfaktor von 1,25 hebt den Puffer auf 1.280 und verringert das Verwerfen, doch die aufgefüllten, ungenutzten Plätze verbrauchen weiterhin Rechenleistung und Kommunikation.

Das Verwerfen von Tokens ist ein echter Kostenfaktor, kein kosmetischer. Seltene Tokens und unterrepräsentierte Sprachen sind am wahrscheinlichsten betroffen, weil der Router bei ihnen am unsichersten ist. Googles Switch-Transformer-Paper, veröffentlicht im Januar 2021, behandelt den Kapazitätsfaktor genau deshalb als Stellschraube erster Klasse.

Der Balanceakt

Sich selbst überlassen neigt ein Router zum Kollabieren: Er entdeckt früh einige Experten und schickt die meisten Tokens zu ihnen, während der Rest untertrainiert bleibt. Die Standardlösung ist eine Hilfsverlustfunktion, die ungleiche Last bestraft und dem Trainingsziel hinzugefügt wird. Das Problem: Zu stark auf Balance zu drängen kann die Qualität schädigen, weil es übersteuert, was der Router gelernt hat.

DeepSeek-V3 führte eine Alternative ein, die es auxiliary-loss-free balancing nennt. Statt einer Strafe erhält jeder Experte einen Bias-Term, der nur bei der Bewertung der Routen addiert wird. Während des Trainings beobachtet das System die Last jedes Experten und verschiebt den Bias nach oben oder unten. Überlastete Experten bekommen einen niedrigeren Bias, unterlastete einen höheren, und der Gate-Wert, der tatsächlich zur Gewichtung der Ausgabe dient, bleibt der ursprünglichen Bewertung des Routers treu. Der Bericht sagt, dies habe die Expertenlast ausgeglichen und zugleich den Qualitätsverlust einer großen Hilfsverlustfunktion vermieden.

Eine kurze Geschichte, mit Zahlen

Die Idee ist älter als der Transformer. 1991 schlugen Robert Jacobs und Kollegen adaptive mixtures of local experts vor, bei denen ein Gating-Netzwerk lernt, die Ausgaben mehrerer Spezialistennetzwerke zu kombinieren. Die moderne Version kam mit einem Google-Paper von 2017, Outrageously Large Neural Networks, das Sparsity und Noisy-Top-k-Gating hinzufügte und eine MoE-Schicht mit bis zu 137 Milliarden Parametern zwischen LSTM-Schichten trainierte.

Zwei Google-Papers machten die Idee dann zur Infrastruktur. GShard, eingereicht im Juni 2020, trieb ein sparse-gated MoE-Übersetzungsmodell über 600 Milliarden Parameter und trainierte es auf 2.048 TPU-v3-Chips in vier Tagen über 100 Sprachen hinweg. Switch Transformer, veröffentlicht im Januar 2021, vereinfachte das Routing auf einen einzigen Experten pro Token und zeigte, dass Top-1 funktionieren kann. Seine größte Variante, Switch-C, erreichte 1,6 Billionen Parameter, und die Autoren meldeten einen vierfachen Pre-Training-Speedup gegenüber dem dichten T5-XXL bei gleichem Rechenaufwand.

Offene Gewichte veränderten die Ausgangslage. Mixtral 8x7B erschien im Dezember 2023 unter Apache 2.0 und wurde zum Referenzpunkt für eine Generation offener MoE-Modelle. DeepSeeks V2 und V3 verfeinerten die Architektur mit feingranularen und geteilten Experten. Bis 2025 hatte der Ansatz die größten Labore erreicht: Google bestätigte, dass Gemini 1.5 Pro ein Sparse-MoE-Modell ist, und Metas Llama 4 Scout und Maverick, im April 2025 angekündigt, sind MoE-Modelle mit 17 Milliarden aktiven Parametern bei 109 Milliarden beziehungsweise 400 Milliarden Gesamtparametern. OpenAI hat die Architektur von GPT-4 nie bestätigt, doch ein viel zitierter Bericht von 2023 beschrieb sie als Mixture of Experts, und das Muster hat sich über nahezu jede spätere Frontier-Veröffentlichung gehalten.

„Diese Technik erhöht die Parameterzahl eines Modells und kontrolliert zugleich Kosten und Latenz, da das Modell pro Token nur einen Bruchteil der Gesamtparameter nutzt.“ — Mistral AI zu Mixtral 8x7B

Warum Labore sparse Modelle wählen

Der Reiz liegt in der Arithmetik. Dichtes Skalieren erhöht Qualität und Kosten zugleich. Sparses Skalieren erhöht die Parameterzahl, den Wissensspeicher, und hält den Rechenaufwand pro Token nahezu konstant. Das ist ein besserer Wechselkurs für Modelle, die Milliarden von Tokens bedienen werden.

Auch das Training profitiert. Der technische Bericht zu DeepSeek-V3 gibt an, dass das vollständige Modell, trainiert auf 14,8 Billionen Tokens, 2,788 Millionen H800-GPU-Stunden benötigte, ein Wert, der für ein dichtes Modell vergleichbarer gemessener Qualität weit höher läge. An der Spitze geht es weniger darum, dichte Modelle bei einem einzelnen Benchmark zu schlagen, als darum, ein bestimmtes Qualitätsniveau zu einem tragfähigen Preis zu erreichen.

Das Serving ist der schwierige Teil

MoE spart Rechenleistung, aber keinen Speicher, und beim Serving schlägt diese Asymmetrie zu.

Jeder Experte muss irgendwo resident sein, obwohl pro Token nur wenige laufen. Der Serving-Speicher skaliert daher mit der Gesamtparameterzahl, nicht mit der aktiven Zahl. Mistral merkt in seinem Mixtral-Paper an, dass der Serving-Speicher proportional zur Sparse-Parameterzahl von 47 Milliarden ist, während die Inferenzrechenleistung der aktiven Zahl von 13 Milliarden folgt. Für DeepSeek-V3 bedeutet das, 671 Milliarden Parameter an Gewichten zu halten, um pro Token 37 Milliarden auszuführen. In einem Rechenzentrum voller GPUs ist das eine große Menge teuren Speichers, der ungenutzt bleibt.

Experten über GPUs zu verteilen, eine Strategie namens Expert Parallelism, bringt Kommunikation mit sich. Tokens, die zu einem Experten auf einem anderen Gerät geroutet werden, müssen dorthin geschickt und ihre Ergebnisse zurückgesendet werden, wofür Systeme oft All-to-All-Kommunikation nutzen. Ist ein Experte heiß, warten andere GPUs auf ihn. Eine Studie zum MoE-Serving maß den durch diesen Straggler-Effekt verlorenen GPU-Zeitanteil bei schiefen Lastprofilen mit bis zu 70 Prozent.

Batching, normalerweise der wichtigste Hebel für Inferenzeffizienz, wirkt bei MoE anders. Ein kleiner Batch kann fast jeden Experten aktivieren und jedem nur sehr wenige Tokens geben, was die arithmetische Intensität zerstört, die die Hardware braucht. Ein Paper von 2024 zur MoE-Inferenz beobachtete, dass Mixtral 8x7B mit 8 Experten pro Schicht und Top-2-Routing bei einer Chatbot-Workload im Durchschnitt 7,63 von 8 Experten aktivierte, weil verschiedene Tokens verschiedene Experten wählten. Serving-Systeme reagieren mit routingbewusstem Batching, Experten-Caching und -Offloading und damit, die Prefill-Phase, in der viele Tokens gleichzeitig laufen, anders zu behandeln als die Decode-Phase, in der jeweils ein Token erzeugt wird.

Fragen zu Qualität und Interpretation

Die Architektur prägt auch, wie sich ein Modell verhält, auf Weisen, die Forscher noch ergründen.

Routing ist unter kleinen Änderungen nicht stabil. Ein Token nahe einer Grenze zwischen zwei Experten kann bei winziger Änderung seiner Repräsentation zu einem anderen Experten kippen, und dieser Wechsel verändert, welche Gewichte es verarbeiten. Finetuning kann das Routing daher auf schwer vorhersagbare Weise umverteilen. Das Fehlrouten einer seltenen oder ungewohnten Eingabe ist der Fall, der am meisten zählt, und genau derselbe Fall, in dem Token-Dropping am wahrscheinlichsten ist.

Experten lassen sich auch nicht sauber auf menschenlesbare Themen abbilden. Frühe Arbeiten fanden Experten, die sich entlang syntaktischer und semantischer Linien spezialisieren, und spätere Modelle zeigen Verzerrungen auf Domänenebene, doch ein einzelner Experte trägt typischerweise eine Mischung von Mustern. Das macht ein MoE-Modell schwerer zu interpretieren und schwerer zu bearbeiten: Um ein Verhalten zu ändern, muss man möglicherweise wissen, welche Experten feuern und wie, was in den Gewichten allein nicht sichtbar ist.

Kompromisse und was zu beobachten ist

Sparse Mixture-of-Experts ist kein kostenloses Upgrade. Es tauscht Rechenleistung gegen Speicher und betriebliche Komplexität und verlangt vom Training, ein Lastverteilungsproblem zu lösen, dem sich dichte Modelle nie stellen müssen. Dichte Modelle bleiben die bessere Wahl für kleine Modelle, für latenzempfindliche Einzelstrom-Nutzung und für Umgebungen, in denen Einfachheit und Vorhersagbarkeit mehr zählen als Spitzenqualität.

Die Richtung ist klar. Experten werden feingranularer, geteilte Experten werden Standard, die Balance verlässt grobe Hilfsverlustfunktionen, und der Serving-Stack wird darauf umgebaut, dass ein Modell heute viele Teile hat, die kommen und gehen. Die offenen Fragen sind praktischer Natur: wie man Billionen Parameter bedient, ohne den größten Teil des Speichers ungenutzt zu lassen, wie man das Routing stabil genug hält, um ihm zu vertrauen, und ob die Gewinne aus Sparsity mit dem Wachstum der größten Modelle Schritt halten.

Titelbild: NVIDIA DGX B200 HGX Acht-Wege-GPU-Baseboard, fotografiert von Pokiiri, bezogen über Wikimedia Commons unter der Lizenz CC BY-SA 4.0.