ByteDances SeedRealtime kann gleichzeitig sehen, hören und sprechen – wenn man in Doubao ist

ByteDances Forschungsorganisation Seed hat am 5. August SeedRealtime vorgestellt – ein „natives audio-visuelles Vollduplex"-Sprachmodell, das Sehen, Hören und Text in einer einzigen Architektur vereint und ein Live-Gespräch über kontinuierliche multimodale Ströme führt. Das Modell läuft bereits in Doubao, ByteDances Verbraucher-Assistenten-App, wo es auf iOS und Android kostenlos nutzbar ist.

Zum Weiterlesen: Googles Gemini 3.8 Live denkt laut nach, während es spricht · Anthropics Claude Haiku 5.5 ist sein bisher günstigstes kleines Modell.

Der Begriff „Vollduplex" leistet hier viel. Bei einem normalen Sprachassistenten spricht man, das System erkennt, dass man aufgehört hat, und dann antwortet es. Dieses Turn-Taking wird von einer externen Komponente orchestriert – einem Sprachaktivitätsdetektor –, die an eine Pipeline aus getrennten Modulen für Spracherkennung, Sprache und Sprachsynthese angeschraubt ist. Vollduplex bedeutet, dass das Modell gleichzeitig zuhört und spricht, verfolgt, wer redet und wann es sich einschalten sollte, so wie ein Mensch es tut. SeedRealtimes Anspruch auf Neuheit ist, dass es dies tut – und zwar mit Video ebenso wie mit Audio, innerhalb eines End-to-End-Modells.

Drei Stufen von „Echtzeit"

Es hilft, das Feld zu trennen, denn das Marketing verwischt es. Eine nützliche Einordnung, vorgeschlagen vom Analyseportal ORCARouter, sortiert Echtzeit-Assistenten in drei Stufen. Die erste ist Halbduplex-Sprache: die meisten Assistenten, darunter Googles Gemini Live, das Kamera- und Bildschirmeingaben verarbeiten kann, aber dennoch abwartet. Die zweite ist reines Audio-Vollduplex, bei dem das System gleichzeitig zuhört und spricht, aber keine Augen hat – hier stehen ByteDances eigenes Seeduplex, OpenAIs GPT-Live und xAIs Grok Voice. Die dritte ist audio-visuelles Vollduplex, bei dem sich kontinuierliche Wahrnehmung und Ausdruck über beide Modalitäten erstrecken. SeedRealtime ist ByteDances Bewerbung für diese dritte Stufe, und das Unternehmen sagt, es sei das erste auf diesem Niveau, das im großen Maßstab ausgerollt werde.

Ob diese letzte Behauptung hält, wird Zeit brauchen, denn es gibt nichts Öffentliches zum Vergleich. Die technische Beschreibung ist jedoch konkret. SeedRealtime nutzt ein einheitliches audio-visuelles Modellierungsframework, in dem Wahrnehmung, Verständnis, Entscheidungsfindung und Antwortgenerierung in einem Modell stattfinden, statt zwischen Spezialmodulen weitergereicht zu werden. ByteDance argumentiert, dass dies den Informationsverlust und die Fehlerakkumulation einer Kaskade verringert, bei der jede Übergabe Timing-Hinweise, Ton oder Kontext verlieren kann.

Die praktische Folge ist, dass das Modell die Live-Szene nutzt, um Mehrdeutigkeit aufzulösen. Es kann ein Homophon klären, indem es liest, was auf dem Bildschirm steht, und es kann proaktiv reagieren, statt angesprochen zu werden. In Demos zeigt ByteDance, wie das Modell ein Museumsstück markiert, das ein Nutzer erwähnt hatte, sobald es wieder ins Kamerabild kommt, und wie es einen Fehler beim Espressobrühen live erkennt. Auch sein Turn-Taking steuert es selbst, indem es Szene, Sprecher, Pausen und Hintergrundgeräusche verfolgt, statt auf einen externen Auslöser zu warten.

Ein Meilenstein, auf dem man nicht bauen kann

Die wichtigste Tatsache über SeedRealtime für Entwickler ist das, was fehlt. Zum Start gibt es keine öffentliche API, keine Modell-ID, keine Preisangabe und keine Entwicklerdokumentation. Berichte stellten fest, dass das Modell nur über die Doubao-App erreichbar ist und ByteDances kommerzielle API-Arme, Volcano Engine in China und BytePlus international, es nicht listen. Das Unternehmen sagt, das Modell sei „vollständig ausgerollt", doch das bezieht sich auf den Einsatz in den eigenen Produkten, nicht auf einen Endpunkt, den irgendjemand aufrufen kann.

Das ist ein vertrautes Muster von ByteDance und ein wiederkehrendes im Feld der Realtime-KI. Frontier-multimodale Systeme erreichen Verbraucher zuerst, in einer Flaggschiff-App, und Entwickler später, wenn überhaupt. ORCARouter merkte an, ByteDance habe das reine Audio-Seeduplex im April 2026 in Doubao ausgeliefert, rund drei Monate bevor OpenAIs GPT-Live den Sprachmodus von ChatGPT erreichte. Hält dieses Muster, ist eine SeedRealtime-API eine Frage des Wanns, nicht des Obs – aber den Zeitplan bestimmt ByteDance.

Die Lücke zwischen „vollständig ausgerollt" und „für Entwickler verfügbar" ist die Lücke zwischen einer Demo und einer Plattform.

Für Teams, die Realtime-Interaktion planen wollen, ist das der Kern. Ein Modell, das nur in einer Verbraucher-App existiert, lässt sich nicht auf Latenz, Kosten, Ablehnungsverhalten oder Zuverlässigkeit unter Produktionslast bewerten. Der entscheidende Wettbewerbsvergleich – SeedRealtime gegen ein aufrufbares Audio-Vollduplex-Modell – lässt sich noch nicht führen. Was Entwickler heute tun können, ist, gegen die existierenden APIs zu prototypen und SeedRealtime als Richtungssignal dafür zu behandeln, wohin die Kategorie geht.

Warum End-to-End technisch zählt

Kaskadierte Systeme sind einfacher zu bauen, aber schwerer natürlich wirken zu lassen. In einer Pipeline wandelt ein Spracherkenner Audio in Text um, ein Sprachmodell entscheidet, was zu sagen ist, und ein Sprachsynthese-Modell spricht es aus. Jede Stufe bringt Verzögerung, und jede kann Informationen verlieren, die die nächste braucht – Prosodie, Zögern, einen Blick auf ein Objekt. Der Turn-Detektor liegt ganz außerhalb des Modells, weshalb so viele Assistenten entweder zu eifrig unterbrechen oder peinliche Pausen lassen.

Ein End-to-End-Vollduplex-Modell faltet all das in ein Netz, das auf die gemeinsame Aufgabe trainiert wird. Prinzipiell lernt es die Timing-Hinweise, die eine Kaskade verwirft, und kann Backchannels – das „mm-hm" und „richtig", die Menschen ins Gespräch streuen – ohne separate Regel-Engine erzeugen. Der Grund, warum das schwer ist, sind Daten. Synchronisierte audio-visuell-konversationelle Daten in großem Maßstab sind knapp und teuer zu etikettieren, und es gibt keinen Standard-Benchmark, der sagt, ob ein Modell den Rhythmus trifft. Genau diese Leere ist der Grund, warum ByteDances Behauptung schwer zu prüfen ist: Das Feld hat sich nicht darauf geeinigt, wie man das misst, was SeedRealtime verkauft.

Der Betrieb ist der zweite schwere Teil. Kontinuierliches Zuhören und Sprechen ist ein Streaming-Workload, kein Anfrage-Antwort-Muster, und die Rechenlast muss für die Dauer des Gesprächs präsent bleiben. Das macht Vollduplex-Interaktion pro Nutzer deutlich teurer als einen Text-Chatbot – ein Grund, warum sie eher in einer großen Verbraucher-App erscheint, die die Kosten tragen kann, eine Strategie, die ByteDance schon zuvor verfolgt hat.

Ein Verbraucher-zuerst-Drehbuch

ByteDances Entscheidung, SeedRealtime in Doubao zu belassen, passt zu seinem Umgang mit früheren Seed-Modellen. Doubao gibt dem Unternehmen einen Vertriebskanal in Hunderte Millionen, und es erlaubt ByteDance, die unordentlichen realen Gespräche zu sammeln, die ein Realtime-Modell verbessern, ohne das System dem Risiko von Drittanbieter-Integrationen auszusetzen. Wenn die größere Ambition eine Familie persönlicher KI-Geräte ist, wie die Hardware- und Wearable-Arbeit nahelegt, dann ist der Besitz der Vollduplex-Gesprächsschicht Voraussetzung statt Nebenprojekt.

Der Preis dieses Ansatzes ist Ökosystem-Gravitation. Wenn die stärksten Realtime-Modelle nur in der App eines Anbieters erreichbar sind, umgehen Entwickler sie – hin zu Anbietern mit aufrufbarem Endpunkt. ByteDance hat kurzfristige Entwickler-Mindshare gegen Kontrolle über das Erlebnis getauscht. Ob dieser Tausch in einem Jahr klug aussieht, hängt davon ab, ob die API ankommt, bevor die Kategorie ohne sie standardisiert.

Warum das zählt

SeedRealtime weist darauf hin, wohin die konversationelle KI als Nächstes geht. Die letzten zwei Jahre der Sprachassistenten drehten sich darum, das Turn-Taking weniger roboterhaft wirken zu lassen. Die nächste Phase entfernt die Turn-Taking-Maschinerie ganz, sodass ein Modell einfach an einer Szene teilnimmt. Das mit Video statt nur Audio zu tun, ist ein bedeutender Schritt: Es macht den Assistenten des physischen Kontexts um ein Gespräch herum bewusst und fähig, zuerst zu sprechen, wenn etwas Sichtbares es rechtfertigt.

Die strategischen Einsätze sind für ByteDance hoch. Vollduplex-Interaktion ist teuer im Betrieb und schwer gut zu machen, und der Besitz von Modell, App und Nutzerbeziehung verschafft einen Vorteil bei der Feinabstimmung des Erlebnisses. Aber dieselbe geschlossene Haltung, die schnelles Handeln erlaubt, hält das Unternehmen auch aus dem Entwickler-Ökosystem heraus, in dem die Agenteninfrastruktur standardisiert wird. Wenn SeedRealtimes Ansatz richtig ist, wird die API-Veröffentlichung das Ereignis sein, das zählt.

Nichts davon macht SeedRealtime unwichtig. Es ist bedeutend, gerade weil es eine Grenze auflöst, die die Branche jahrelang als fix betrachtete: dass eine Maschine warten muss, bis sie an der Reihe ist. Gleichzeitig zuzusehen und zu sprechen ist eine Kleinigkeit in einer Demo und eine große Sache im Alltag – es ist der Unterschied zwischen einem Assistenten, den man herbeiruft, und einem, der einfach präsent ist. Das ist eher eine Produktkategorie als ein Feature, und es erklärt, warum ByteDance dessen Auslieferung der Monetarisierung vorzog.

Der Bewertungsgraben

Für Entwickler ist die praktische Konsequenz, dass Realtime-Fähigkeiten weiterhin zuerst in Konsolen und Apps erscheinen statt in Entwicklerplattformen. Wer heute ein Produkt mit vollwertiger audio-visueller Interaktion bauen will, muss sich an aufrufbare Audio-Vollduplex-Modelle halten und die videofähige Zukunft als Beobachtungsposten behandeln. Das ist unbefriedigend, aber ehrlicher, als eine Integration einzuplanen, die es noch nicht gibt.

Es gibt einen zweiten Grund zur Vorsicht. ByteDances zentrale Kennzahl stammt aus einer Evaluation des eigenen Unternehmens, deren Zusammensetzung, Referenzmodell und Bewertungsmethode nicht offengelegt sind. Der Vergleich mit kaskadierten Systemen ist plausibel – frühere ByteDance-Modelle machten ähnliche Aussagen für Audio –, aber ohne einen neutralen Benchmark lässt sich nicht sagen, ob die Halbierung ein echter Fortschritt oder eine andere Messlatte ist. In einem Feld, das von Demonstrationsvideos lebt, ist genau das der entscheidende Punkt: Fähigkeitsdemos lassen sich leicht erzeugen und schwer überprüfen.

Was SeedRealtime dennoch zu einem wichtigen Produkt macht, ist seine Richtung. Es zeigt, dass ein großes Unternehmen bereit ist, die schwierigste Form der multimodalen Interaktion – gleichzeitiges Sehen, Hören und Sprechen – in einer App mit Hunderten Millionen Nutzern auszuliefern, ohne darauf zu warten, dass die Bewertungsmethoden oder die Entwicklerwerkzeuge nachziehen. Bewährt sich das, steigt der Druck auf die übrigen Anbieter, ähnliche Fähigkeiten zu liefern, und die Frage lautet nicht mehr, ob vollwertige Echtzeit-Interaktion möglich ist, sondern wer sie zu welchem Preis und mit welchen Datenschutzgarantien anbietet.

Was zu beobachten ist

Achten Sie auf eine SeedRealtime-Modell-ID bei Volcano Engine oder BytePlus – und auf die Latenzzahl, die damit kommt; End-to-End-Latenz ist die Kennzahl, die in der Realtime-Interaktion eine Spielerei von einem Produkt trennt. Achten Sie auch auf Microsofts MAI-Realtime-Sprachmodell und Googles nächstes Gemini-Live-Update, die beide dasselbe Terrain umkreisen. Und behalten Sie die Doubao-Retention im Blick: Der ehrliche Test der Vollduplex-Videointeraktion ist, ob Nutzer die Kameraeinheit offen lassen, wenn die Neuheit verflogen ist.