Mezcla de expertos explicada: por qué los mayores modelos de IA activan solo una parte de sí mismos

Durante gran parte de la historia del aprendizaje profundo, un modelo de lenguaje tenía un solo dial que importaba: el tamaño. Más parámetros significaban más conocimiento, y ejecutar el modelo implicaba tocar cada parámetro para cada token. Ese pacto construyó GPT-3, PaLM y toda una generación de grandes transformers densos, y también construyó un muro. Pasados unos cientos de miles de millones de parámetros, el cómputo y la memoria necesarios para generar cada token crecen con el número de parámetros, y el coste de inferencia empieza a empequeñecer el de entrenamiento.

Lectura relacionada: Los ingresos de OpenAI por debajo de lo esperado hunden las acciones ligadas a la IA · Kimi K3 de Moonshot llega a Amazon Bedrock con caché de prompts para pesos abiertos.

La mezcla de expertos (MoE) dispersa es la principal forma en que el campo ha trepado por encima de ese muro. En un modelo MoE, la única red de avance de cada capa del transformer se sustituye por muchas redes de avance más pequeñas, llamadas expertas, y un pequeño enrutador que envía cada token solo a unas pocas. El modelo puede contener cientos de miles de millones o billones de parámetros y, aun así, hacer la aritmética de uno mucho más pequeño. Esa elección tiene consecuencias para la memoria, el equilibrio de carga y el coste de servicio, y esas consecuencias explican por qué la MoE es hoy el estándar en la frontera.

Denso frente a disperso: el compromiso en un párrafo

Un modelo denso usa todos sus parámetros en cada token. Dale a un modelo denso de 70.000 millones de parámetros un solo token y ejecutará 70.000 millones de parámetros de álgebra matricial para producir el siguiente. Capacidad y cómputo son la misma cosa.

Un modelo MoE disperso rompe ese vínculo. Las capas de atención siguen siendo densas y compartidas. Las capas de avance, que contienen la mayor parte de los parámetros de un transformer, se convierten en un conjunto de expertas. El enrutador decide, por token y por capa, qué expertas se ejecutan. Los parámetros totales miden la capacidad del modelo, mientras que los parámetros activados (o activos) miden lo que cuesta procesar un token. La MoE permite que el primer número crezca mucho más rápido que el segundo.

Conviene fijar dos términos de antemano. Una experta es una pequeña red de avance, normalmente con la misma arquitectura que el bloque denso al que sustituye, pero con sus propios pesos. El enrutamiento top-k significa que el enrutador conserva las k expertas con mayor puntuación para cada token: top-1 envía un token a una experta, top-2 a dos, y así sucesivamente. Las puntuaciones del enrutador también ponderan cómo se combinan las salidas de las expertas seleccionadas.

Un ejemplo concreto: Mixtral 8x7B

Mixtral 8x7B de Mistral AI, publicado en diciembre de 2023, hizo concreto el concepto para los modelos de pesos abiertos. Cada capa contiene 8 bloques de avance expertos. Para cada token, un enrutador elige los 2 mejores. El modelo tiene 46.700 millones de parámetros totales pero solo ejecuta 12.900 millones de ellos por token, alrededor del 28 por ciento. Mistral informó de que igualaba o superaba a Llama 2 70B en la mayoría de las pruebas mientras usaba aproximadamente 5 veces menos parámetros activos en inferencia.

El nombre engaña un poco. «8x7B» no significa ocho modelos independientes de 7B. Los enrutadores, las capas de atención y las incrustaciones se comparten entre expertas, así que el total es 46,7B en lugar de 56B, y el recuento activo es 12,9B en lugar de 14B.

DeepSeek-V3, publicado en diciembre de 2024, lleva la misma idea más lejos. Cada capa MoE tiene 256 expertas enrutadas más 1 experta compartida que siempre se ejecuta. Para cada token, el modelo activa la experta compartida y las 8 mejores expertas enrutadas. Eso da 671.000 millones de parámetros totales y 37.000 millones activados por token, aproximadamente el 5,5 por ciento. La división fina, presentada en el artículo de DeepSeekMoE, da al enrutador muchas más formas de combinar especialización que un puñado de expertas grandes, y la experta compartida se ocupa de los patrones comunes para que las enrutadas no tengan que reaprenderlos cada una.

Cuando una experta se desborda: factor de capacidad y descarte de tokens

El enrutamiento depende de los datos, y eso crea un problema de planificación. Un lote de tokens no se reparte por igual entre las expertas. Si una experta es popular, puede recibir muchos más tokens que las demás.

Las capas MoE de producción manejan esto con un búfer fijo por experta. A cada experta se le asigna una capacidad igual a (tokens por lote / número de expertas) multiplicado por un factor de capacidad. Supongamos que un lote tiene 4.096 tokens, la capa tiene 8 expertas y el enrutamiento es top-2. De media, cada experta recibiría (4.096 × 2) / 8 = 1.024 tokens. Con un factor de capacidad de 1,0, 1.024 es el búfer; si a una experta llegan 1.300 tokens, los 276 extra se descartan en esa capa y pasan por la conexión residual sin cambios. Un factor de capacidad de 1,25 eleva el búfer a 1.280 y reduce el descarte, pero las ranuras rellenadas y sin usar siguen consumiendo cómputo y comunicación.

Descartar tokens es un coste real, no cosmético. Los tokens raros y los idiomas subrepresentados son los más propensos a verse afectados, porque es sobre ellos sobre los que el enrutador tiene menos confianza. El artículo de Switch Transformer de Google, publicado en enero de 2021, trata el factor de capacidad como un parámetro de ajuste de primer orden precisamente por eso.

El equilibrio

Si se deja solo, un enrutador tiende a colapsar: descubre unas pocas expertas pronto y les envía la mayoría de los tokens, dejando al resto poco entrenadas. La solución estándar es una pérdida auxiliar que penaliza la carga desigual, añadida al objetivo de entrenamiento. El problema es que empujar demasiado el equilibrio puede dañar la calidad, porque anula lo que el enrutador ha aprendido.

DeepSeek-V3 introdujo una alternativa que llama equilibrio sin pérdida auxiliar. En lugar de una penalización, cada experta recibe un término de sesgo que se añade solo al puntuar las rutas. Durante el entrenamiento, el sistema observa la carga de cada experta y ajusta el sesgo al alza o a la baja. Las expertas sobrecargadas reciben un sesgo más bajo, las infrautilizadas uno más alto, y el valor de compuerta que realmente se usa para ponderar la salida se mantiene fiel a la puntuación original del enrutador. El informe dice que esto mantuvo equilibradas las cargas de las expertas y evitó el daño a la calidad de una gran pérdida auxiliar.

Una breve historia, con números

La idea es anterior al transformer. En 1991, Robert Jacobs y sus colegas propusieron las mezclas adaptativas de expertos locales, en las que una red de compuerta aprende a combinar las salidas de varias redes especializadas. La versión moderna llegó con un artículo de Google de 2017, Outrageously Large Neural Networks, que añadió dispersión y compuerta top-k con ruido y entrenó una capa MoE con hasta 137.000 millones de parámetros entre capas LSTM.

Dos artículos de Google convirtieron después la idea en infraestructura. GShard, presentado en junio de 2020, llevó un modelo de traducción MoE con compuerta dispersa más allá de 600.000 millones de parámetros y lo entrenó en 2.048 chips TPU v3 en cuatro días y 100 idiomas. Switch Transformer, publicado en enero de 2021, simplificó el enrutamiento a una sola experta por token y demostró que top-1 podía funcionar. Su variante mayor, Switch-C, alcanzó 1,6 billones de parámetros, y los autores informaron de una mejora de 4x en el preentrenamiento frente al denso T5-XXL con el mismo cómputo.

Los pesos abiertos cambiaron las reglas. Mixtral 8x7B llegó en diciembre de 2023 bajo Apache 2.0 y se convirtió en un punto de referencia para una generación de modelos MoE abiertos. Los V2 y V3 de DeepSeek refinaron la arquitectura con expertas finas y compartidas. En 2025 el enfoque había llegado a los mayores laboratorios: Google confirmó que Gemini 1.5 Pro es un modelo MoE disperso, y Llama 4 Scout y Maverick de Meta, anunciados en abril de 2025, son modelos MoE con 17.000 millones de parámetros activos frente a 109.000 millones y 400.000 millones totales. OpenAI nunca ha confirmado la arquitectura de GPT-4, pero un informe de 2023 muy citado lo describió como mezcla de expertos, y el patrón se ha mantenido en casi todos los lanzamientos de frontera posteriores.

«Esta técnica aumenta el número de parámetros de un modelo a la vez que controla el coste y la latencia, ya que el modelo solo usa una fracción del conjunto total de parámetros por token.» — Mistral AI, sobre Mixtral 8x7B

Por qué los laboratorios eligen modelos dispersos

El atractivo es aritmético. El escalado denso eleva calidad y coste a la vez. El escalado disperso eleva el número de parámetros, que es el depósito de conocimiento, mientras mantiene más o menos fijo el cómputo por token. Es un mejor tipo de cambio para modelos que servirán miles de millones de tokens.

El entrenamiento también se beneficia. El informe técnico de DeepSeek-V3 dice que el modelo completo, entrenado con 14,8 billones de tokens, usó 2,788 millones de horas de GPU H800, una cifra que sería mucho mayor para un modelo denso de calidad medida comparable. En la frontera, la decisión no es tanto superar a los densos en una prueba concreta como alcanzar un nivel dado de calidad a un precio sostenible.

El servicio es la parte difícil

La MoE ahorra cómputo, pero no ahorra memoria, y el servicio es donde esa asimetría muerde.

Cada experta debe residir en algún sitio, aunque solo se ejecuten unas pocas para cada token. La memoria de servicio, por tanto, escala con el número total de parámetros, no con el recuento activo. Mistral señala en su artículo de Mixtral que la memoria de servicio es proporcional a los 47.000 millones de parámetros dispersos, mientras que el cómputo de inferencia sigue los 13.000 millones activos. Para DeepSeek-V3 eso significa mantener 671.000 millones de parámetros de pesos para ejecutar 37.000 millones por token. En un centro de datos lleno de GPUs, eso es una gran cantidad de memoria cara inactiva.

Distribuir las expertas entre GPUs, una estrategia llamada paralelismo de expertas, añade comunicación. Los tokens enrutados a una experta en otro dispositivo deben enviarse allí y sus resultados devolverse, y los sistemas suelen usar comunicación all-to-all para lograrlo. Si una experta está caliente, las demás GPUs la esperan. Un estudio sobre el servicio de MoE midió el tiempo de GPU perdido por este efecto de rezagados en hasta el 70 por ciento en cargas de trabajo sesgadas.

El procesamiento por lotes, normalmente la principal palanca de eficiencia en inferencia, funciona de otra manera con la MoE. Un lote pequeño puede activar casi todas las expertas y, a la vez, dar a cada una muy pocos tokens, lo que destruye la intensidad aritmética que necesita el hardware. Un artículo de 2024 sobre inferencia MoE observó que Mixtral 8x7B, con 8 expertas por capa y enrutamiento top-2, activaba 7,63 de 8 expertas de media en una carga de chatbot, porque distintos tokens elegían distintas expertas. Los sistemas de servicio responden con procesamiento por lotes consciente del enrutamiento, caché y descarga de expertas, y tratando la fase de prellenado, en la que se ejecutan muchos tokens a la vez, de forma distinta a la fase de decodificación, en la que se genera un token cada vez.

Cuestiones de calidad e interpretación

La arquitectura también da forma al comportamiento del modelo, de maneras que los investigadores aún están descifrando.

El enrutamiento no es estable ante pequeños cambios. Un token que se sitúa cerca de la frontera entre dos expertas puede cambiar a otra con un cambio mínimo en su representación, y ese cambio altera qué pesos lo procesan. El ajuste fino puede, por tanto, redistribuir el enrutamiento de formas difíciles de predecir. Enrutar mal una entrada rara o desconocida es el caso que más importa, y es el mismo caso en el que el descarte de tokens es más probable.

Las expertas tampoco se corresponden limpiamente con temas legibles para humanos. Los primeros trabajos encontraron expertas que se especializaban en líneas sintácticas y semánticas, y los modelos posteriores muestran sesgos a nivel de dominio, pero una sola experta suele llevar una mezcla de patrones. Eso hace que un modelo MoE sea más difícil de interpretar y de editar: para cambiar un comportamiento puede que necesites saber qué expertas se activan y cómo, algo que no se ve solo en los pesos.

Compromisos y qué observar

La mezcla de expertos dispersa no es una mejora gratuita. Cambia cómputo por memoria y complejidad operativa, y exige que el entrenamiento resuelva un problema de equilibrio de carga que los modelos densos nunca afrontan. Los modelos densos siguen siendo la mejor opción para modelos pequeños, para uso de flujo único sensible a la latencia y para entornos en los que la simplicidad y la previsibilidad importan más que la calidad máxima.

La dirección del viaje es clara. Las expertas son cada vez más finas, las expertas compartidas se están volviendo estándar, el equilibrio se aleja de las pérdidas auxiliares toscas y la pila de servicio se reconstruye en torno al hecho de que un modelo ahora tiene muchas partes que van y vienen. Las preguntas abiertas son prácticas: cómo servir billones de parámetros sin dejar la mayor parte de la memoria inactiva, cómo mantener el enrutamiento lo bastante estable como para confiar en él y si las ganancias de la dispersión siguen el ritmo del crecimiento de los mayores modelos.

Imagen de portada: placa base de GPU NVIDIA DGX B200 HGX de ocho vías, fotografiada por Pokiiri, obtenida de Wikimedia Commons bajo licencia CC BY-SA 4.0.