4 historias · “inference”.
Meta desplegará su chip de inferencia MTIA 450, diseñado con Broadcom y fabricado por TSMC, en centros de datos en la primera mitad de 2027, mientras escala su silicio propio.
Z.ai dice que un agente de IA construyó la inferencia de GLM-5.3-Flash sobre más de 100.000 aceleradores chinos y triplicó el rendimiento en menos de dos semanas.
TypeSafe AI salió del sigilo con 40 millones de dólares y un modelo llamado Jev que devuelve probabilidades tipadas en lugar de prosa. Es más rápido y más barato que un LLM, pero no intenta ser uno.
Los modelos dispersos de mezcla de expertos activan una pequeña fracción de sus parámetros por token. Cómo el enrutamiento, la capacidad y el servicio dan forma a los mayores modelos de IA.
