SeedRealtime de ByteDance peut voir, entendre et parler en même temps: si vous êtes sur Doubao

L'organisation de recherche Seed de ByteDance a lancé SeedRealtime le 5 août, le présentant comme un grand modèle de langage « audio-visuel full-duplex natif » qui fusionne vue, son et texte dans une seule architecture et tient une conversation en direct sur des flux multimodaux continus. Le modèle tourne déjà dans Doubao, l'application d'assistant grand public de ByteDance, où il est gratuit sur iOS et Android.

À lire aussi: Gemini 3.8 Live de Google raisonne à voix haute pendant qu'il parle · Claude Haiku 5.5 est le petit modèle le moins cher d'Anthropic à ce jour.

Le mot « full-duplex » fait beaucoup de travail. Dans un assistant vocal classique, vous parlez, le système détecte que vous avez cessé, puis il répond. Cette alternance des tours est orchestrée par un composant externe (un détecteur d'activité vocale) greffé sur une chaîne de modules séparés de reconnaissance vocale, de langage et de synthèse vocale. Full-duplex signifie que le modèle écoute et parle en même temps, en suivant qui parle et quand intervenir comme le ferait un humain. La prétention de nouveauté de SeedRealtime est de faire cela, et de le faire avec la vidéo autant qu'avec l'audio, au sein d'un seul modèle de bout en bout.

Trois niveaux de « temps réel »

Il est utile de distinguer le domaine, car le marketing le brouille. Un cadre utile, proposé par le site d'analyse ORCARouter, classe les assistants temps réel en trois niveaux. Le premier est la voix half-duplex : la plupart des assistants, dont Gemini Live de Google, qui peut prendre la caméra et l'écran mais attend toujours son tour. Le deuxième est l'audio full-duplex seul, où le système écoute et parle simultanément mais n'a pas d'yeux, on y trouve Seeduplex de ByteDance, GPT-Live d'OpenAI et Grok Voice de xAI. Le troisième est l'audio-visuel full-duplex, où perception et expression continues couvrent les deux modalités. SeedRealtime est la candidature de ByteDance à ce troisième niveau, et l'entreprise affirme être la première à ce stade à être déployée à grande échelle.

Savoir si cette dernière affirmation tient prendra du temps, car il n'y a rien de public à quoi la comparer. Mais la description technique est précise. SeedRealtime utilise un cadre unifié de modélisation audio-visuelle où perception, compréhension, prise de décision et génération de réponses se produisent dans un seul modèle, plutôt que d'être réparties entre modules spécialisés. ByteDance soutient que cela réduit la perte d'information et l'accumulation d'erreurs d'une cascade, où chaque passage peut perdre des indices de timing, de ton ou de contexte.

La conséquence pratique est que le modèle utilise la scène en direct pour lever l'ambiguïté. Il peut désambiguïser un homophone en lisant ce qui est à l'écran, et réagir de manière proactive plutôt qu'en attendant qu'on s'adresse à lui. Dans ses démonstrations, ByteDance montre le modèle signalant une pièce de musée qu'un utilisateur avait mentionnée dès qu'elle revient dans le champ de la caméra, et repérant une erreur pendant une extraction d'espresso en direct. Il gère aussi lui-même l'alternance des tours en suivant la scène, le locuteur, les pauses et le bruit de fond, plutôt qu'en s'appuyant sur un déclencheur externe.

Un jalon sur lequel on ne peut pas construire

Le fait le plus important de SeedRealtime pour les développeurs est ce qui lui manque. Au lancement, il n'y a pas d'API publique, pas d'identifiant de modèle, pas de tarif et pas de documentation développeur. Les rapports ont noté que le modèle n'est accessible que via l'application Doubao, et que les branches commerciales d'API de ByteDance, Volcano Engine en Chine et BytePlus à l'international, ne le listent pas. L'entreprise dit que le modèle est « entièrement déployé », mais cela désigne un usage dans ses propres produits, pas un point de terminaison que quiconque peut appeler.

C'est un schéma familier chez ByteDance, et récurrent dans le domaine de l'IA temps réel. Les systèmes multimodaux de pointe atteignent d'abord les consommateurs, dans une application phare, et les développeurs plus tard, quand ils les atteignent. ORCARouter a noté que ByteDance a livré Seeduplex, purement audio, dans Doubao en avril 2026, environ trois mois avant que GPT-Live d'OpenAI n'atteigne le mode vocal de ChatGPT. Si ce précédent tient, une API SeedRealtime est une question de quand, pas de si, mais le calendrier appartient à ByteDance.

L'écart entre « entièrement déployé » et « disponible pour les développeurs » est l'écart entre une démo et une plateforme.

Pour les équipes qui tentent de planifier l'interaction temps réel, c'est là le nœud. Un modèle qui n'existe que dans une application grand public ne peut pas être évalué en latence, en coût, en comportement de refus ou en fiabilité sous charge de production. La comparaison concurrentielle qui compte (SeedRealtime face à un modèle audio full-duplex appelable) ne peut pas encore être faite. Ce que les développeurs peuvent faire aujourd'hui, c'est prototyper contre les API qui existent et traiter SeedRealtime comme un signal directionnel sur l'orientation de la catégorie.

Pourquoi le bout-en-bout compte, techniquement

Les systèmes en cascade sont plus faciles à construire mais plus difficiles à rendre naturels. Dans une chaîne, un système de reconnaissance vocale transforme l'audio en texte, un modèle de langage décide quoi dire, et un modèle de synthèse vocale le prononce. Chaque étape introduit du délai, et chacune peut perdre une information dont la suivante a besoin, prosodie, hésitation, coup d'œil à un objet. Le détecteur de tours est entièrement hors du modèle, ce qui explique pourquoi tant d'assistants interrompent trop vivement ou laissent des silences gênants.

Un modèle full-duplex de bout en bout replie tout cela dans un seul réseau entraîné sur la tâche conjointe. En principe, il apprend les indices de timing qu'une cascade jette, et peut générer des backchannels (le « mm-hm » et le « oui » que les humains parsèment dans la conversation) sans moteur de règles séparé. La raison pour laquelle c'est difficile, ce sont les données. Les données conversationnelles audio-visuelles synchronisées à grande échelle sont rares et coûteuses à étiqueter, et il n'existe aucun benchmark standard indiquant si un modèle a le bon rythme. Ce vide est précisément pourquoi l'affirmation de ByteDance est difficile à vérifier : le domaine ne s'est pas mis d'accord sur la façon de mesurer ce que vend SeedRealtime.

Le service est la seconde difficulté. Écouter et parler en continu est une charge de travail en streaming, non une requête-réponse, et le calcul doit rester résident pendant toute la conversation. Cela rend l'interaction full-duplex nettement plus coûteuse par utilisateur qu'un chatbot textuel, l'une des raisons pour lesquelles elle est livrée dans une grande application grand public capable d'absorber le coût, une stratégie que ByteDance a déjà suivie.

Un manuel « consommateur d'abord »

La décision de ByteDance de garder SeedRealtime dans Doubao est cohérente avec sa gestion des modèles Seed précédents. Doubao offre un canal de distribution de plusieurs centaines de millions d'utilisateurs, et permet à ByteDance de collecter les conversations réelles et désordonnées qui améliorent un modèle temps réel sans exposer le système au risque d'intégration tierce. Si l'ambition plus large est une famille d'appareils d'IA personnels, comme le suggère son travail sur le matériel et les objets connectés, posséder la couche conversationnelle full-duplex est un prérequis plutôt qu'un projet annexe.

Le coût de cette approche est la gravité de l'écosystème. Quand les modèles temps réel les plus puissants ne sont accessibles que dans l'application d'un fournisseur, les développeurs les contournent, vers des fournisseurs proposant un point de terminaison appelable. ByteDance a échangé une part d'esprit développeur à court terme contre le contrôle de l'expérience. Que cet échange paraisse judicieux dans un an dépendra de l'arrivée de l'API avant que la catégorie ne se standardise sans elle.

Pourquoi cela compte

SeedRealtime indique où va l'IA conversationnelle ensuite. Les deux dernières années d'assistants vocaux ont consisté à rendre l'alternance des tours moins robotique. La phase suivante consiste à supprimer entièrement la machinerie des tours, pour qu'un modèle participe simplement à une scène. Le faire avec la vidéo, et pas seulement l'audio, est un pas significatif : cela rend l'assistant conscient du contexte physique autour d'une conversation et capable de parler en premier quand quelque chose de visible le justifie.

Les enjeux stratégiques sont élevés pour ByteDance. L'interaction full-duplex est coûteuse à servir et difficile à bien faire, et posséder le modèle, l'application et la relation utilisateur donne à l'entreprise un avantage pour affiner l'expérience. Mais la même posture fermée qui lui permet d'avancer vite la tient aussi à l'écart de l'écosystème de développeurs où s'standardise l'infrastructure des agents. Si l'approche de SeedRealtime est la bonne, la publication de l'API sera l'événement qui compte.

Rien de tout cela ne rend SeedRealtime négligeable. Il est important précisément parce qu'il abolit une frontière que l'industrie tenait pour fixe depuis des années : qu'une machine doive attendre son tour. Regarder et parler en même temps est une petite chose dans une démo et une grande chose au quotidien, c'est la différence entre un assistant qu'on convoque et un assistant simplement présent. C'est davantage une catégorie de produit qu'une fonctionnalité, et cela explique pourquoi ByteDance a priorisé son déploiement sur sa monétisation.

Ce qu'il faut surveiller

Guettez un identifiant de modèle SeedRealtime sur Volcano Engine ou BytePlus, et le chiffre de latence qui l'accompagne : la latence de bout en bout est la métrique qui sépare un gadget d'un produit dans l'interaction temps réel. Surveillez aussi le modèle vocal temps réel MAI de Microsoft et la prochaine mise à jour de Gemini Live de Google, qui tournent autour du même territoire. Et surveillez la rétention de Doubao : le test honnête de l'interaction vidéo full-duplex est de savoir si les utilisateurs gardent la session caméra ouverte une fois la nouveauté passée.