SeedRealtime de ByteDance puede ver, oír y hablar a la vez, si estás en Doubao

La organización de investigación Seed de ByteDance lanzó SeedRealtime el 5 de agosto, describiéndolo como un modelo de lenguaje «audiovisual nativo full-dúplex» que fusiona vista, sonido y texto en una sola arquitectura y mantiene una conversación en vivo sobre flujos multimodales continuos. El modelo ya funciona dentro de Doubao, la app de asistente de consumo de ByteDance, donde es gratuito en iOS y Android.

Lectura relacionada: El Gemini 3.8 Live de Google razona en voz alta mientras habla · Claude Haiku 5.5 de Anthropic es su modelo pequeño más barato hasta ahora.

La palabra «full-dúplex» hace mucho trabajo. En un asistente de voz normal, hablas, el sistema detecta que has parado y luego responde. Esa toma de turnos la orquesta un componente externo (un detector de actividad de voz) atornillado a una tubería de módulos separados de reconocimiento de voz, lenguaje y síntesis de voz. Full-dúplex significa que el modelo escucha y habla al mismo tiempo, siguiendo quién habla y cuándo intervenir como lo haría una persona. La pretensión de novedad de SeedRealtime es que hace esto, y lo hace con vídeo además de audio, dentro de un único modelo de extremo a extremo.

Tres niveles de «tiempo real»

Conviene separar el campo, porque el marketing lo difumina. Un marco útil, propuesto por el sitio de análisis ORCARouter, ordena los asistentes en tiempo real en tres niveles. El primero es voz half-dúplex: la mayoría de los asistentes, incluido Gemini Live de Google, que puede tomar cámara y pantalla pero sigue esperando su turno. El segundo es audio full-dúplex únicamente, donde el sistema escucha y habla simultáneamente pero no tiene ojos: aquí están el propio Seeduplex de ByteDance, GPT-Live de OpenAI y Grok Voice de xAI. El tercero es audiovisual full-dúplex, donde la percepción y la expresión continuas abarcan ambas modalidades. SeedRealtime es la apuesta de ByteDance por ese tercer nivel, y la compañía dice que es el primero en ese escalón en desplegarse a gran escala.

Que esa última afirmación se sostenga llevará tiempo evaluarlo, porque no hay nada público con lo que compararlo. Pero la descripción técnica es concreta. SeedRealtime usa un marco unificado de modelado audiovisual en el que percepción, comprensión, toma de decisiones y generación de respuestas ocurren en un solo modelo, en lugar de pasar entre módulos especializados. ByteDance sostiene que esto reduce la pérdida de información y la acumulación de errores de una cascada, donde cada traspaso puede perder señales de tiempo, tono o contexto.

La consecuencia práctica es que el modelo usa la escena en vivo para resolver la ambigüedad. Puede desambiguar un homófono leyendo lo que hay en pantalla, y puede reaccionar de forma proactiva en lugar de esperar a que le hablen. En las demostraciones, ByteDance muestra al modelo señalando una pieza de museo que un usuario había mencionado en el momento en que vuelve a entrar en el campo de la cámara, y detectando un error durante un café exprés en directo. También gestiona su propia toma de turnos siguiendo la escena, el hablante, las pausas y el ruido de fondo, en lugar de depender de un disparador externo.

Un hito sobre el que no se puede construir

El hecho más importante de SeedRealtime para los desarrolladores es lo que le falta. En el lanzamiento no hay API pública, ni ID de modelo, ni precios, ni documentación para desarrolladores. Los informes señalaron que el modelo solo es accesible a través de la app Doubao, y que los brazos comerciales de API de ByteDance, Volcano Engine en China y BytePlus a nivel internacional, no lo incluyen. La empresa dice que el modelo está «completamente desplegado», pero eso se refiere al uso dentro de sus propios productos, no a un endpoint que cualquiera pueda llamar.

Es un patrón conocido de ByteDance y recurrente en el campo de la IA en tiempo real. Los sistemas multimodales de frontera llegan primero a los consumidores, dentro de una app insignia, y después a los creadores, si acaso. ORCARouter señaló que ByteDance lanzó el Seeduplex solo de audio en Doubao en abril de 2026, unos tres meses antes de que GPT-Live de OpenAI llegara al modo de voz de ChatGPT. Si ese precedente se mantiene, una API de SeedRealtime es cuestión de cuándo, no de si, pero el calendario lo marca ByteDance.

La brecha entre «completamente desplegado» y «disponible para desarrolladores» es la brecha entre una demo y una plataforma.

Para los equipos que intentan planificar la interacción en tiempo real, aquí está la cuestión. Un modelo que solo existe dentro de una app de consumo no puede evaluarse en latencia, coste, comportamiento de rechazo o fiabilidad bajo carga de producción. La comparación competitiva que importa (SeedRealtime frente a un modelo full-dúplex de audio invocable) todavía no puede hacerse. Lo que los creadores pueden hacer hoy es prototipar contra las API que sí existen y tratar a SeedRealtime como una señal direccional de hacia dónde va la categoría.

Por qué importa el extremo a extremo, técnicamente

Los sistemas en cascada son más fáciles de construir pero más difíciles de hacer sentir naturales. En una tubería, un reconocedor de voz convierte el audio en texto, un modelo de lenguaje decide qué decir y un modelo de síntesis de voz lo pronuncia. Cada etapa introduce retardo, y cada una puede perder información que la siguiente necesita: prosodia, vacilación, una mirada a un objeto. El detector de turnos está fuera del modelo por completo, y por eso muchos asistentes o interrumpen con demasiada avidez o dejan silencios incómodos.

Un modelo full-dúplex de extremo a extremo pliega todo eso en una red entrenada para la tarea conjunta. En principio aprende las señales de tiempo que una cascada descarta, y puede generar retroalimentación (el «mm-hm» y el «ya» que las personas salpican en la conversación) sin un motor de reglas aparte. La razón de que esto sea difícil son los datos. Los datos conversacionales audiovisuales sincronizados a escala son escasos y caros de etiquetar, y no hay un benchmark estándar que diga si un modelo tiene el ritmo correcto. Ese vacío es justo la razón por la que la afirmación de ByteDance es difícil de verificar: el campo no se ha puesto de acuerdo sobre cómo medir lo que vende SeedRealtime.

El servicio es la segunda parte difícil. Escuchar y hablar de forma continua es una carga de trabajo en streaming, no de petición-respuesta, y el cómputo debe permanecer residente durante toda la conversación. Eso hace que la interacción full-dúplex sea mucho más cara por usuario que un chatbot de texto, una razón por la que tiende a lanzarse dentro de una gran app de consumo capaz de absorber el coste, una estrategia que ByteDance ya ha seguido antes.

Un manual con los consumidores primero

La decisión de ByteDance de mantener SeedRealtime dentro de Doubao es coherente con cómo gestionó modelos Seed anteriores. Doubao le da un canal de distribución de cientos de millones y le permite recoger las conversaciones reales y desordenadas que mejoran un modelo en tiempo real sin exponer el sistema al riesgo de la integración de terceros. Si la ambición mayor es una familia de dispositivos personales de IA, como sugiere su trabajo en hardware y wearables, poseer la capa conversacional full-dúplex es un requisito previo y no un proyecto secundario.

El coste de ese enfoque es la gravedad del ecosistema. Cuando los modelos en tiempo real más potentes solo son accesibles dentro de la app de un proveedor, los creadores los rodean, hacia proveedores que ofrecen un endpoint invocable. ByteDance ha cambiado presencia temprana entre desarrolladores por control de la experiencia. Que ese intercambio parezca inteligente dentro de un año depende de si la API llega antes de que la categoría se estandarice sin ella.

Por qué importa

SeedRealtime apunta a dónde va la IA conversacional a continuación. Los últimos dos años de asistentes de voz giraron en torno a hacer que la toma de turnos pareciera menos robótica. La siguiente fase consiste en eliminar por completo la maquinaria de turnos, de modo que un modelo simplemente participe en una escena. Hacerlo con vídeo, y no solo con audio, es un paso significativo: hace que el asistente sea consciente del contexto físico que rodea una conversación y capaz de hablar primero cuando algo visible lo justifica.

Las apuestas estratégicas son altas para ByteDance. La interacción full-dúplex es cara de servir y difícil de hacer bien, y poseer el modelo, la app y la relación con el usuario da a la compañía una ventaja para afinar la experiencia. Pero la misma postura cerrada que le permite moverse rápido también la mantiene fuera del ecosistema de desarrolladores donde se estandariza la infraestructura de agentes. Si el enfoque de SeedRealtime es correcto, la publicación de la API será el acontecimiento que importe.

Nada de esto hace que SeedRealtime carezca de importancia. Es significativo precisamente porque derriba una frontera que la industria trató como fija durante años: que una máquina debe esperar su turno. Mirar y hablar al mismo tiempo es una cosa pequeña en una demo y una cosa grande en el uso diario: es la diferencia entre un asistente al que llamas y uno que simplemente está presente. Eso se acerca más a una categoría de producto que a una función, y explica por qué ByteDance priorizó lanzarlo antes que monetizarlo.

Qué observar

Vigila un ID de modelo SeedRealtime en Volcano Engine o BytePlus, y vigila la cifra de latencia que lo acompañe: la latencia de extremo a extremo es la métrica que separa un truco de un producto en la interacción en tiempo real. Vigila también el modelo de voz en tiempo real MAI de Microsoft y la próxima actualización de Gemini Live de Google, que rondan el mismo terreno. Y vigila la retención de Doubao: la prueba honesta de la interacción de vídeo full-dúplex es si los usuarios mantienen abierta la sesión de cámara cuando pasa la novedad.