Le mélange d'experts expliqué : pourquoi les plus grands modèles d'IA n'activent qu'une partie d'eux-mêmes

Pendant l'essentiel de l'histoire de l'apprentissage profond, un modèle de langage n'avait qu'un seul réglage qui comptait : la taille. Plus de paramètres signifiaient plus de connaissances, et faire tourner le modèle revenait à solliciter chaque paramètre pour chaque jeton. Ce marché a donné GPT-3, PaLM et toute une génération de grands transformers denses, et il a aussi dressé un mur. Au-delà de quelques centaines de milliards de paramètres, le calcul et la mémoire nécessaires pour générer chaque jeton augmentent avec le nombre de paramètres, et le coût d'inférence finit par éclipser le coût d'entraînement.

À lire aussi: Des revenus d'OpenAI sous les attentes font chuter les valeurs liées à l'IA · Kimi K3 de Moonshot débarque sur Amazon Bedrock avec le cache de prompts pour poids ouverts.

Le mélange d'experts (MoE) clairsemé est le principal moyen par lequel le domaine a franchi ce mur. Dans un modèle MoE, le réseau feed-forward unique de chaque couche transformer est remplacé par de nombreux réseaux feed-forward plus petits, appelés experts, et par un petit routeur qui n'envoie chaque jeton qu'à quelques-uns d'entre eux. Le modèle peut détenir des centaines de milliards, voire des milliers de milliards de paramètres, tout en effectuant les calculs d'un modèle bien plus petit. Ce choix a des conséquences sur la mémoire, l'équilibrage de charge et le coût de service, et ces conséquences expliquent pourquoi le MoE est aujourd'hui la norme à la pointe.

Dense contre clairsemé : le compromis en un paragraphe

Un modèle dense utilise tous ses paramètres sur chaque jeton. Donnez un jeton à un modèle dense de 70 milliards de paramètres et il exécute 70 milliards de paramètres de calcul matriciel pour produire le suivant. Capacité et calcul ne font qu'un.

Un modèle MoE clairsemé rompt ce lien. Les couches d'attention restent denses et partagées. Les couches feed-forward, qui concentrent la plupart des paramètres d'un transformer, deviennent un ensemble d'experts. Le routeur décide, pour chaque jeton et chaque couche, quels experts s'exécutent. Le total des paramètres mesure la capacité du modèle, tandis que les paramètres activés (ou actifs) mesurent ce que coûte le traitement d'un jeton. Le MoE permet au premier chiffre de croître bien plus vite que le second.

Deux termes méritent d'être fixés d'emblée. Un expert est un petit réseau feed-forward, généralement de même architecture que le bloc dense qu'il remplace, mais doté de ses propres poids. Le routage top-k signifie que le routeur retient les k experts les mieux notés pour chaque jeton : top-1 envoie un jeton à un expert, top-2 à deux, et ainsi de suite. Les scores du routeur pondèrent aussi la façon dont les sorties des experts sélectionnés sont combinées.

Un exemple concret : Mixtral 8x7B

Le Mixtral 8x7B de Mistral AI, publié en décembre 2023, a rendu l'idée concrète pour les modèles à poids ouverts. Chaque couche contient 8 blocs feed-forward experts. Pour chaque jeton, un routeur sélectionne les 2 meilleurs. Le modèle totalise 46,7 milliards de paramètres, mais n'en exécute que 12,9 milliards par jeton, soit environ 28 %. Mistral a rapporté qu'il égalait ou dépassait Llama 2 70B sur la plupart des benchmarks tout en utilisant environ 5 fois moins de paramètres actifs à l'inférence.

Le nom est un peu trompeur. « 8x7B » ne signifie pas huit modèles 7B indépendants. Les routeurs, les couches d'attention et les embeddings sont partagés entre les experts, si bien que le total est de 46,7 milliards et non de 56, et que le nombre actif est de 12,9 milliards et non de 14.

DeepSeek-V3, publié en décembre 2024, pousse la même idée plus loin. Chaque couche MoE compte 256 experts routés plus 1 expert partagé qui s'exécute toujours. Pour chaque jeton, le modèle active l'expert partagé et les 8 meilleurs experts routés. Cela donne 671 milliards de paramètres au total et 37 milliards activés par jeton, soit environ 5,5 %. La répartition fine, introduite dans l'article DeepSeekMoE, offre au routeur bien plus de façons de combiner l'expertise qu'une poignée de grands experts, et l'expert partagé traite les motifs courants pour que les experts routés n'aient pas chacun à les réapprendre.

Quand un expert déborde : facteur de capacité et rejet de jetons

Le routage dépend des données, ce qui crée un problème d'ordonnancement. Un lot de jetons ne se répartit pas uniformément entre les experts. Si un expert est populaire, il peut recevoir bien plus de jetons que les autres.

Les couches MoE en production gèrent cela avec un tampon fixe par expert. Chaque expert se voit allouer une capacité égale à (jetons par lot / nombre d'experts) multipliée par un facteur de capacité. Supposons qu'un lot compte 4 096 jetons, que la couche ait 8 experts et que le routage soit top-2. En moyenne, chaque expert recevrait (4 096 × 2) / 8 = 1 024 jetons. Avec un facteur de capacité de 1,0, 1 024 est le tampon ; si 1 300 jetons arrivent à un expert, les 276 en trop sont rejetés à cette couche et traversent la connexion résiduelle sans modification. Un facteur de capacité de 1,25 porte le tampon à 1 280 et réduit les rejets, mais les emplacements rembourrés et inutilisés consomment tout de même du calcul et de la communication.

Rejeter des jetons a un coût réel, et non cosmétique. Les jetons rares et les langues sous-représentées sont les plus susceptibles d'être touchés, car c'est à leur sujet que le routeur est le moins confiant. L'article de Google sur Switch Transformer, publié en janvier 2021, traite le facteur de capacité comme un paramètre de réglage à part entière, précisément pour cette raison.

L'exercice d'équilibre

Livré à lui-même, un routeur a tendance à s'effondrer : il découvre tôt quelques experts et leur envoie la plupart des jetons, laissant les autres sous-entraînés. Le correctif standard est une perte auxiliaire qui pénalise une charge inégale, ajoutée à l'objectif d'entraînement. Le problème est qu'insister trop fortement sur l'équilibre peut nuire à la qualité, car cela écrase ce que le routeur a appris.

DeepSeek-V3 a introduit une alternative qu'il appelle équilibrage sans perte auxiliaire. Au lieu d'une pénalité, chaque expert reçoit un terme de biais ajouté uniquement lors de l'évaluation des routes. Pendant l'entraînement, le système surveille la charge de chaque expert et ajuste le biais à la hausse ou à la baisse. Les experts surchargés reçoivent un biais plus faible, les experts sous-chargés un biais plus élevé, et la valeur de porte réellement utilisée pour pondérer la sortie reste fidèle au score d'origine du routeur. Le rapport indique que cela a maintenu les charges des experts équilibrées tout en évitant l'impact sur la qualité d'une grande perte auxiliaire.

Une brève histoire, avec des chiffres

L'idée précède le transformer. En 1991, Robert Jacobs et ses collègues ont proposé adaptive mixtures of local experts, où un réseau de porte apprend à combiner les sorties de plusieurs réseaux spécialisés. La version moderne est arrivée avec un article de Google de 2017, Outrageously Large Neural Networks, qui a ajouté la parcimonie et un routage top-k bruité et a entraîné une couche MoE allant jusqu'à 137 milliards de paramètres entre des couches LSTM.

Deux articles de Google ont ensuite transformé l'idée en infrastructure. GShard, soumis en juin 2020, a poussé un modèle de traduction MoE à routage clairsemé au-delà de 600 milliards de paramètres et l'a entraîné sur 2 048 puces TPU v3 en quatre jours et sur 100 langues. Switch Transformer, publié en janvier 2021, a simplifié le routage à un seul expert par jeton et montré que le top-1 pouvait fonctionner. Sa plus grande variante, Switch-C, a atteint 1 600 milliards de paramètres, et les auteurs ont rapporté une accélération de 4x du pré-entraînement par rapport au modèle dense T5-XXL à calcul équivalent.

Les poids ouverts ont changé la donne. Mixtral 8x7B est sorti en décembre 2023 sous licence Apache 2.0 et est devenu une référence pour une génération de modèles MoE ouverts. Les V2 et V3 de DeepSeek ont affiné l'architecture avec des experts fins et partagés. En 2025, l'approche avait atteint les plus grands laboratoires : Google a confirmé que Gemini 1.5 Pro est un modèle MoE clairsemé, et les Llama 4 Scout et Maverick de Meta, annoncés en avril 2025, sont des modèles MoE avec 17 milliards de paramètres actifs pour 109 et 400 milliards au total. OpenAI n'a jamais confirmé l'architecture de GPT-4, mais un rapport de 2023 très cité la décrivait comme un mélange d'experts, et le schéma s'est vérifié pour presque chaque sortie de pointe depuis.

« Cette technique augmente le nombre de paramètres d'un modèle tout en maîtrisant le coût et la latence, puisque le modèle n'utilise qu'une fraction de l'ensemble total des paramètres par jeton. » — Mistral AI, à propos de Mixtral 8x7B

Pourquoi les laboratoires choisissent des modèles clairsemés

L'attrait est arithmétique. La mise à l'échelle dense augmente la qualité et le coût ensemble. La mise à l'échelle clairsemée augmente le nombre de paramètres, ce réservoir de connaissances, tout en maintenant à peu près fixe le calcul par jeton. C'est un meilleur taux de change pour des modèles appelés à servir des milliards de jetons.

L'entraînement y gagne aussi. Le rapport technique de DeepSeek-V3 indique que le modèle complet, entraîné sur 14,8 billions de jetons, a consommé 2,788 millions d'heures GPU H800, un chiffre qui serait bien plus élevé pour un modèle dense de qualité mesurée comparable. À la pointe, la décision consiste moins à battre le dense sur un benchmark isolé qu'à atteindre un niveau de qualité donné pour un prix soutenable.

Le service, la partie difficile

Le MoE économise du calcul, mais pas de mémoire, et c'est au service que cette asymétrie fait mal.

Chaque expert doit résider quelque part, même si quelques-uns seulement s'exécutent pour un jeton donné. La mémoire de service évolue donc avec le nombre total de paramètres, et non avec le nombre actif. Mistral note dans son article sur Mixtral que la mémoire de service est proportionnelle aux 47 milliards de paramètres clairsemés, tandis que le calcul d'inférence suit les 13 milliards actifs. Pour DeepSeek-V3, cela signifie détenir 671 milliards de paramètres de poids pour n'en exécuter que 37 milliards par jeton. Dans un centre de données rempli de GPU, cela représente une grande quantité de mémoire coûteuse laissée à l'arrêt.

Répartir les experts sur plusieurs GPU, une stratégie appelée parallélisme d'experts, ajoute de la communication. Les jetons routés vers un expert situé sur un autre appareil doivent y être envoyés et leurs résultats renvoyés, et les systèmes utilisent souvent une communication tous-à-tous pour cela. Si un expert est surchargé, les autres GPU l'attendent. Une étude sur le service des MoE a mesuré le temps GPU perdu à cause de cet effet de traînard à jusqu'à 70 % dans des charges de travail déséquilibrées.

Le regroupement en lots, normalement le principal levier d'efficacité de l'inférence, fonctionne différemment pour le MoE. Un petit lot peut activer presque tous les experts tout en ne donnant que très peu de jetons à chacun, ce qui détruit l'intensité arithmétique dont le matériel a besoin. Un article de 2024 sur l'inférence MoE a observé que Mixtral 8x7B, avec 8 experts par couche et un routage top-2, activait en moyenne 7,63 des 8 experts sur une charge de travail de chatbot, car différents jetons choisissaient différents experts. Les systèmes de service répondent par un regroupement en lots sensible au routage, de la mise en cache et du déport d'experts, et en traitant la phase de préremplissage, où de nombreux jetons s'exécutent en même temps, différemment de la phase de décodage, où un jeton est généré à la fois.

Questions de qualité et d'interprétation

L'architecture façonne aussi le comportement d'un modèle, de manières que les chercheurs continuent d'élucider.

Le routage n'est pas stable face à de petits changements. Un jeton situé près d'une frontière entre deux experts peut basculer vers un autre expert à la moindre variation de sa représentation, et ce basculement change les poids qui le traitent. L'affinage peut donc redistribuer le routage de façons difficiles à prévoir. Mal router une entrée rare ou inconnue est le cas qui compte le plus, et c'est aussi le cas où le rejet de jetons est le plus probable.

Les experts ne se correspondent pas non plus proprement à des thèmes lisibles par l'humain. Les premiers travaux ont trouvé des experts se spécialisant selon des lignes syntaxiques et sémantiques, et les modèles ultérieurs montrent des biais au niveau des domaines, mais un expert donné porte généralement un mélange de motifs. Cela rend un modèle MoE plus difficile à interpréter et à modifier : pour changer un comportement, il faut souvent savoir quels experts s'activent et comment, ce qui n'apparaît pas dans les seuls poids.

Compromis et points à surveiller

Le mélange d'experts clairsemé n'est pas une mise à niveau gratuite. Il échange du calcul contre de la mémoire et de la complexité opérationnelle, et il demande à l'entraînement de résoudre un problème d'équilibrage de charge que les modèles denses n'affrontent jamais. Les modèles denses restent le meilleur choix pour les petits modèles, pour un usage mono-flux sensible à la latence, et pour les contextes où la simplicité et la prévisibilité importent plus que la qualité de pointe.

La direction est claire. Les experts deviennent plus fins, les experts partagés se banalisent, l'équilibrage s'éloigne des pertes auxiliaires brutales, et la pile de service est reconstruite autour du fait qu'un modèle a désormais de nombreuses pièces qui vont et viennent. Les questions ouvertes sont pratiques : comment servir des milliers de milliards de paramètres sans laisser la majeure partie de la mémoire à l'arrêt, comment garder un routage assez stable pour lui faire confiance, et si les gains de la parcimonie suivent le rythme à mesure que les plus grands modèles grandissent.

Image de couverture : une carte mère huit GPU NVIDIA DGX B200 HGX, photographiée par Pokiiri, issue de Wikimedia Commons sous licence CC BY-SA 4.0.