Genie 4 verleiht DeepMinds Weltmodell Ton und Echtzeit-Steuerung

Google DeepMind kündigte Genie 4 am 27. Oktober 2026 an, und die Neuerung, die wahrscheinlich am meisten zählt, ist der Ton. Das Weltmodell, das aus einem Prompt oder einem Standbild eine interaktive Szene erzeugt, produziert nun Audio zum Bild: Umgebungsgeräusche, die zum Schauplatz passen, Musik und Dialoge, die auf das reagieren, was der Nutzer tut. DeepMind nennt die Veröffentlichung eine Research Preview für vertrauenswürdige Tester, kein Produkt, für das man sich heute anmelden kann.

Zum Weiterlesen: Googles Gemini 4 Argon erreicht zuerst vertrauenswürdige Cyber-Verteidiger, mit 1 Million Token Ausgabelimit · Googles Gemini 3.8 Live denkt laut nach, während es spricht.

Der Zugang wird langsam ausgeweitet. Das Unternehmen sagt, Genie 4 werde in den kommenden Wochen für Abonnenten von Google AI Ultra in Project Genie und für Early-Access-Partner über die Gemini API und Google AI Studio verfügbar, und eine Warteliste ist offen, berichtete The Verge. Die zweite Änderung ist die Kontrolle. Ein Nutzer kann eine Anweisung eintippen, während eine Welt läuft, um das Wetter zu ändern, die Kamera zu bewegen oder eine Person oder ein Objekt einzuführen, und das Modell schreibt die Umgebung entsprechend um, statt zum Ausgangsbild zurückzuspringen.

Was unter der Demo steckt

Genie 4 baut auf der Gemini-Familie auf und ersetzt sie nicht. DeepMinds Ankündigung zufolge verankert Gemini Omni jede Simulation in realer Erscheinung und realem Verhalten, während andere Gemini-Modelle die Schlussfolgerungen liefern, die eine Szene von einem Moment zum nächsten kohärent halten. Das System ist in der Formulierung des Unternehmens nativ multimodal: Audio entsteht als Teil der Welt und wird nicht nachträglich aufgesetzt.

Weltmodelle unterscheiden sich von gewöhnlichen Videogeneratoren meist durch Interaktivität. Die Ausgabe reagiert auf Eingaben, statt eine feste Sequenz abzuspielen, und die Behauptung zur Steuerung macht diesen Unterschied prüfbar. Wenn ein Nutzer die Kamera bewegen kann und die Szene sich um den neuen Blickwinkel herum neu ordnet, hat das Modell so etwas wie ein internes Modell des Raums. Wenn es nur ein plausibles nächstes Bild erzeugt, leistet das Wort weniger.

Die weniger sichtbare Änderung ist ein Agent in der Schleife. Gemini 3.8 Flash beobachtet die erzeugte Szene, zerlegt ein Ziel in Schritte, prüft Frames und kontrolliert, ob die Welt noch tut, was verlangt wurde. DeepMind schreibt dieser Schleife zu, dass eine Szene länger zusammenhält, etwa zwei Minuten. TechCrunch berichtet, das sei doppelt so lange wie das Limit von Genie 3. Nutzer bekommen daraus keine Videodatei von zwei Minuten. Sie bekommen eine Welt, die etwa so lange stabil bleibt, während jemand sie steuert.

Wie viel Arbeit diese Schleife leistet, ist von außen schwer zu beurteilen. Ein Agent, der Frames prüft, kann erkennen, wenn eine Szene von ihrem Prompt abdriftet, aber derselbe Agent ist Teil der Generierungspipeline. DeepMind hat keine Zahlen veröffentlicht, wie oft er eingreift oder wie viele Versuche ein fertiger Clip braucht. Die Architektur ist der interessanteste Teil der Ankündigung und der am wenigsten dokumentierte.

Vier Behauptungen, eine Demo-Rolle

DeepMind fasst die Verbesserungen in vier Bereichen zusammen.

• Steuerung. Natürlichsprachliche Anweisungen ändern Wetter, Kameraposition und Inhalt einer Szene mitten im Lauf, wobei das Modell jeden Prompt an das anpasst, was bereits auf dem Bildschirm ist.
• Physik und Menschen. Das Unternehmen beansprucht bessere Aerodynamik und Kollisionen sowie Figuren, die sich wie Menschen bewegen und auf ihre Umgebung reagieren.
• Audio. Umgebungsgeräusche, Musik und interaktiver Dialog, zusammen mit den Bildern erzeugt und im laufenden Betrieb angepasst.
• Mehrstufige Ereignisse. Gemini-Reasoning plant eine Abfolge und prüft sie, statt jeden Moment isoliert zu erzeugen. In einer Robotik-Demonstration zerlegte ein Gemini-4-Argon-Modell eine Aufgabe in Schritte, die Genie 4 simulieren sollte, wobei ein Apptronik-Apollo-Roboter Dame spielte.

Das sind Unternehmensaussagen. Der Beleg im Launch-Material ist eine Reihe kurzer Clips, und Ars Technica baute seine Berichterstattung darum herum. Der Clip, mit dem das Material beginnt, zeigt einen Mann im braunen Anzug, der auf einer Plattform über einem nebligen See Saxophon spielt. Das Wasser bewegt sich, das Instrument hat Gewicht, und der Klang gehört zur Szene, statt obenauf zu liegen.

Audio ist die schwerer zu bewertende Behauptung aus einer Pressemitteilung. Ein Dialog, der mit einem sich bewegenden Mund synchron bleibt, ist ein anderes Problem als Umgebungsgeräusche, die zu einem Wald passen, und DeepMind fasst beides unter einer Überschrift zusammen. Die Clips legen nahe, dass das Unternehmen beides in kurzen Momenten kann. Ein Gespräch, das länger dauert, zeigen sie nicht.

Für wen es gedacht ist

DeepMind nennt Previsualisierung für Film und Fernsehen, Storyboarding, Spielprototyping, Fotojournalismus und Robotiksimulation. Die Film-Anwendung beschreiben die eigenen Ingenieure am ausführlichsten. Diego Rivas, ein Ingenieur am Projekt, sagte TechCrunch, Geschwindigkeit zähle, wenn sie ein Kreativteam im Flow halte: „Der Echtzeit-Aspekt wird in den Bereichen am wertvollsten, in denen es unglaublich nützlich ist, einen Flow-Zustand im kreativen Raum zu halten ... in der Ideenphase, in der Storyboard-Phase.“

Das Fotojournalismus-Beispiel ist seltsamer. DeepMind sagt, Tester hätten ein zweidimensionales Archivfoto genommen und daraus eine Szene gemacht, durch die man gehen kann. Das ist eine neue Art historischer Rekonstruktion und eine neue Reihe von Fragen dazu, wofür ein Foto als Beleg steht. Das Launch-Material sagt nicht, wie das Modell mit den Teilen der Szene umgeht, die das Foto nie enthielt, und das ist der größte Teil.

Für Spieleentwickler lautet das Angebot, einen visuellen Stil, ein Material oder eine Mechanik zu testen, bevor jemand Engine-Code schreibt. Studios prototypen Szenen schon heute, bevor sie in Produktion gehen; eine erzeugte Welt könnte diesen Schritt verkürzen. Ob ein Studio mit einer Welt planen würde, die es auf Code-Ebene nicht inspizieren kann, ist eine separate Frage, und die Preview beantwortet sie nicht.

DeepMind nennt außerdem die Erzeugung von Unternehmensszenarien, wie Unternehmen den Bau eines visuellen Modells eines Prozesses nennen, bevor sie Geld dafür binden. Die Ankündigung zeigt nicht, wie solche Szenarien aussehen, was die Behauptung schwer prüfbar macht. In welchem Umfeld auch immer: Der Wert hängt von der Treue ab, und genau die stellt die Liste der Einschränkungen infrage.

Tejas Kulkarni, Forschungsdirektor bei DeepMind, beschrieb den längeren Bogen in einem Interview mit TechCrunch. Seine Version sieht vor, dass Gemini-Modelle Code und Text schreiben, während Genie die Ausgabe aufnimmt und das Ergebnis simuliert, wobei das Weltmodell als Renderer und als Physikersatz dient, nicht als ganzes System.

Das Geld, das in Weltmodelle fließt

Genie 4 kommt in einen Markt, der im vergangenen Jahr Weltmodell-Firmen gekauft hat. Runway veröffentlichte sein zweites Weltmodell, GWM Worlds 2, laut TechCrunch ein paar Monate vor diesem Launch. AMD vereinbarte am 28. September 2026, Fei-Fei Lis World Labs für 8,2 Milliarden Dollar zu kaufen, Amazon verhandelt laut Wall Street Journal über den Kauf von Decart für rund 7 Milliarden Dollar, und Rivian übernahm am 22. Oktober das Weltmodell-Startup Third Dimension, um seine Simulation für autonomes Fahren zu beschleunigen.

Das Muster ist Konsolidierung rund um Simulation als Trainingsinput. Ein Weltmodell kann beschriftete Erfahrung für einen Roboter oder ein Auto erzeugen, ohne Kilometer echten Fahrens, weshalb zu den Käufern ein Chiphersteller, ein Autohersteller und, wie berichtet wird, ein Cloud-Anbieter gehören.

Bloomberg rahmte den Genie-4-Launch in seiner Schlagzeile vom 27. Oktober als ein Modell, das „Video- und Spieleaktien erschütterte“. Die Story ist kostenpflichtig, und die Schlagzeile enthält keine Zahl, die Größe einer möglichen Marktbewegung ist mit dem hier verfügbaren Material also nicht belegt. Was die Schlagzeile zeigt: Investoren lesen eine Weltmodell-Veröffentlichung inzwischen als Nachricht über Spiele-Publisher ebenso wie über Forschungslabore. Sie mögen der Technik voraus sein; die Reaktion sagt trotzdem etwas über Erwartungen.

Was wir in Zukunft zunehmend sehen werden, sind diese hybriden Weltmodelle, in denen eine Kombination aus Gemini, das Code und Text schreibt, und Genie zusammenkommt, das dies in Echtzeit aufnimmt und Realität auf verschiedenen Abstraktionsebenen simuliert. — Tejas Kulkarni, Forschungsdirektor bei Google DeepMind, gegenüber TechCrunch

Was es noch falsch macht

Die Liste der Einschränkungen von DeepMind ist konkret. Visuelle Details und Objektpermanenz können über längere Sitzungen driften, nach mehreren komplexen Prompt-Änderungen oder während sich die Kamera bewegt. Komplexe physische Interaktionen, Audio-Genauigkeit, lesbarer Text innerhalb einer Welt, räumliche Genauigkeit und langfristige Konsistenz bleiben offene Forschungsprobleme. TechCrunch berichtet, das Team habe Audio-Genauigkeit und lesbaren Text nicht gelöst.

Die Sicherheitsoffenlegung ist knapp, aber konkret. DeepMind sagt, jedes von Genie 4 erzeugte Video und Audio trage SynthID, das unsichtbare Wasserzeichen, und das Unternehmen habe interne Sicherheitsbewertungen durchgeführt, bevor es die Preview öffnete. Wasserzeichen helfen Plattformen, erzeugtes Material zu erkennen, wenn sie danach suchen. Sie hindern niemanden daran, einen Bildschirm abzufilmen.

Worauf zu achten ist

Der erste Test ist die Lieferung. Ein Launch-Fenster ist kein Datum, und die Lücke zwischen einer Preview für Tester und einem Produkt für Abonnenten kann lang sein. Achten Sie darauf, ob Abonnenten von AI Ultra Genie 4 im von DeepMind beschriebenen Zeitplan erhalten und ob der API-Zugang mit denselben Fähigkeiten oder einem reduzierten Satz kommt.

Der zweite ist die unabhängige Bewertung. Szenenkonsistenz über zwei Minuten ist die Art Behauptung, die externe Tester messen können, und das interessante Ergebnis wird sein, wie schnell eine Welt auseinanderfällt, wenn jemand aufhört, sie so zu steuern wie die Demo. Audio-Synchronität und lesbarer Text sind leichter zu prüfen und schwerer zu fälschen. Die Wirkung langer Prompts ist noch schwerer zu erfassen: DeepMind sagt, die Drift werde nach mehreren komplexen Änderungen schlimmer, und genau so arbeitet ein Filmteam. Ein System, das für einen sauberen Take funktioniert und bei der fünften Revision nachlässt, hat einen engeren Markt, als der Launch nahelegt.

Der dritte Punkt ist, was die Käufer tun. Wenn Spiele-Studios anfangen, erzeugte Welten in der Vorproduktion zu nutzen, wird die Bloomberg-Schlagzeile prophetisch wirken. Wenn sie es als Storyboard-Werkzeug und nichts weiter behandeln, war die Marktreaktion Lärm. Robotik ist der leisere Fall: Ein Simulator, der gut genug ist, um eine Policy zu trainieren, würde mehr zählen als jeder Demo-Clip, und nichts im Launch-Material zeigt das bisher.

Vorerst hat DeepMind eine bessere Demo als die letzte gezeigt, mit Ton. Es hat nicht gezeigt, dass das System standhält, wenn jemand von außerhalb des Unternehmens am Steuer sitzt. Die API-Preview und die erste Welle von Testern werden der erste echte Beleg in die eine oder andere Richtung sein.

Titelbild: eine von Google DeepMind erzeugte Genie-4-Demo-Welt, aus Launch-Material, das Ars Technica veröffentlicht hat.