Genie 4 ajoute le son et le pilotage en temps réel au modèle du monde de DeepMind

Google DeepMind a annoncé Genie 4 le 27 octobre 2026, et l'ajout qui comptera sans doute le plus, c'est le son. Le modèle du monde, qui génère une scène interactive à partir d'une consigne ou d'une image fixe, produit désormais de l'audio en même temps que l'image : des sons d'ambiance accordés au décor, de la musique, et des dialogues qui répondent à ce que fait l'utilisateur. DeepMind qualifie ce lancement d'aperçu de recherche réservé à des testeurs de confiance, pas de produit auquel on peut s'inscrire aujourd'hui.

À lire aussi: Gemini 4 Argon de Google atteint d'abord des défenseurs cyber de confiance, avec une limite de sortie d'un million de jetons · Gemini 3.8 Live de Google raisonne à voix haute pendant qu'il parle.

L'accès s'élargira lentement. L'entreprise indique que Genie 4 arrivera dans les prochaines semaines auprès des abonnés Google AI Ultra via Project Genie et de partenaires en accès anticipé utilisant l'API Gemini et Google AI Studio, et une liste d'attente est ouverte, rapporte The Verge. Le deuxième changement concerne le contrôle. L'utilisateur peut saisir une instruction pendant qu'un monde tourne pour changer la météo, déplacer la caméra ou faire entrer une personne ou un objet, et le modèle réécrit l'environnement en conséquence au lieu de revenir à une image de départ.

Ce qui se cache sous la démo

Genie 4 s'appuie sur la famille Gemini plutôt que de la remplacer. L'annonce de DeepMind indique que Gemini Omni ancre chaque simulation dans l'apparence et le comportement du monde réel, tandis que d'autres modèles Gemini fournissent le raisonnement qui maintient une scène cohérente d'un instant à l'autre. Le système est nativement multimodal selon la formule de l'entreprise : l'audio est généré comme une partie du monde, et non ajouté après coup.

Les modèles du monde se distinguent généralement des générateurs de vidéo ordinaires par l'interactivité. La sortie répond à une entrée au lieu de dérouler une séquence fixe, et c'est la promesse de pilotage qui rend cette différence vérifiable. Si un utilisateur peut déplacer la caméra et que la scène se réorganise autour du nouveau point de vue, le modèle possède quelque chose comme un modèle interne de l'espace. S'il ne produit qu'une image suivante plausible, le mot fait moins de travail.

Le changement le moins visible est un agent intégré à la boucle. Gemini 3.8 Flash observe la scène générée, décompose un objectif en étapes, examine les images et vérifie si le monde fait toujours ce qu'on lui a demandé. DeepMind attribue à cette boucle l'allongement de la durée de cohérence d'une scène, à environ deux minutes. TechCrunch rapporte que c'est le double de la limite de Genie 3. Les utilisateurs n'obtiennent pas pour autant un fichier vidéo de deux minutes. Ils obtiennent un monde capable de rester stable environ aussi longtemps pendant qu'on le pilote.

Il est difficile de juger de l'extérieur la part de travail que fournit cette boucle. Un agent qui examine les images peut repérer une scène qui s'écarte de sa consigne, mais ce même agent fait partie de la chaîne de génération. DeepMind n'a publié aucun chiffre sur la fréquence de ses interventions ni sur le nombre d'essais nécessaires pour obtenir un clip final. L'architecture est la partie la plus intéressante de l'annonce et la moins documentée.

Quatre promesses, une bande démo

DeepMind regroupe les améliorations en quatre domaines.

• Pilotage. Les instructions en langage naturel modifient la météo, la position de la caméra et le contenu d'une scène en cours d'exécution, le modèle adaptant chaque consigne à ce qui est déjà à l'écran.
• Physique et personnages. L'entreprise revendique de meilleures aérodynamiques et collisions, et des personnages qui se déplacent comme des humains et réagissent à leur environnement.
• Audio. Sons d'ambiance, musique et dialogues interactifs générés en même temps que les images et ajustés à la volée.
• Événements multi-étapes. Le raisonnement de Gemini planifie une séquence et la vérifie, au lieu de générer chaque instant isolément. Dans une démonstration de robotique, un modèle Gemini 4 Argon a décomposé une tâche en étapes que Genie 4 devait simuler, avec un robot Apptronik Apollo jouant aux dames.

Ce sont des affirmations de l'entreprise. Les preuves à l'appui dans le matériel de lancement sont une série de courts clips, et Ars Technica a construit sa couverture autour d'eux. Le clip qui ouvre les images montre un homme en costume marron jouant du saxophone sur une plateforme au-dessus d'un lac brumeux. L'eau bouge, l'instrument a du poids, et le son appartient à la scène au lieu de flotter par-dessus.

L'audio est la promesse la plus difficile à évaluer à partir d'un communiqué. Un dialogue synchronisé avec une bouche en mouvement est un problème différent d'un son d'ambiance qui correspond à une forêt, et DeepMind range les deux sous la même rubrique. Les clips suggèrent que l'entreprise sait faire les deux par courtes salves. Ils ne montrent pas une conversation qui dure.

À qui cela s'adresse

DeepMind cite la prévisualisation pour le cinéma et la télévision, le storyboard, le prototypage de jeux, le photojournalisme et la simulation robotique. Ses ingénieurs détaillent le plus le cas du cinéma. Diego Rivas, ingénieur sur le projet, a déclaré à TechCrunch que la vitesse compte lorsqu'elle maintient une équipe créative dans un état de flow : « L'aspect temps réel devient le plus précieux dans les domaines où maintenir un état de flow dans l'espace créatif devient incroyablement utile ... dans la phase d'idéation, dans la phase de storyboard. »

L'exemple du photojournalisme est plus étrange. DeepMind affirme que des testeurs ont pris une photographie d'archive en deux dimensions et l'ont transformée en une scène dans laquelle on peut marcher. C'est un nouveau type de reconstitution historique et une nouvelle série de questions sur ce dont une photographie est la preuve. Le matériel de lancement ne dit pas comment le modèle traite les parties de la scène que la photographie ne contenait pas, c'est-à-dire la plupart.

Pour les développeurs de jeux, l'argument est de tester un style visuel, un matériau ou une mécanique avant que quiconque écrive du code moteur. Les studios prototypent déjà des scènes avant de s'engager en production ; un monde généré pourrait raccourcir cette étape. Savoir si un studio accepterait de planifier autour d'un monde qu'il ne peut pas inspecter au niveau du code est une autre question, à laquelle l'aperçu ne répond pas.

DeepMind cite aussi la génération de scénarios d'entreprise, la formule que les entreprises emploient pour désigner la construction d'une maquette visuelle d'un processus avant d'y engager de l'argent. L'annonce ne montre pas à quoi ressemblent ces scénarios, ce qui rend la promesse difficile à évaluer. Quel que soit le contexte, la valeur dépend de la fidélité, et c'est précisément ce que la liste des limites met en doute.

Tejas Kulkarni, directeur de recherche chez DeepMind, a décrit la trajectoire plus longue dans un entretien à TechCrunch. Sa version voit les modèles Gemini écrire du code et du texte pendant que Genie ingère le résultat et simule ce qui en sort, le modèle du monde servant de moteur de rendu et de substitut physique plutôt que de système complet.

L'argent qui afflue vers les modèles du monde

Genie 4 arrive sur un marché qui a passé l'année écoulée à racheter des entreprises de modèles du monde. Runway a publié son deuxième modèle du monde, GWM Worlds 2, quelques mois avant ce lancement, selon TechCrunch. AMD a accepté le 28 septembre 2026 d'acheter World Labs, l'entreprise de Fei-Fei Li, pour 8,2 milliards de dollars, Amazon serait en discussions pour racheter Decart pour environ 7 milliards de dollars selon le Wall Street Journal, et Rivian a acquis la start-up Third Dimension le 22 octobre pour accélérer la simulation de conduite autonome.

Le schéma est une consolidation autour de la simulation comme donnée d'entraînement. Un modèle du monde peut produire de l'expérience étiquetée pour un robot ou une voiture sans des kilomètres de conduite réelle, ce qui explique que les acheteurs incluent un fabricant de puces, un constructeur automobile et, selon les informations, un fournisseur de cloud.

Bloomberg a présenté le lancement de Genie 4 comme celui d'un modèle qui a « fait trembler les actions des éditeurs de jeux vidéo » dans son titre du 27 octobre. L'article est payant et le titre ne porte aucun chiffre, si bien que l'ampleur d'un éventuel mouvement de marché n'est pas établie par les éléments disponibles ici. Ce que le titre montre, c'est que les investisseurs lisent désormais la sortie d'un modèle du monde comme une nouvelle concernant les éditeurs de jeux autant que les laboratoires de recherche. Ils sont peut-être en avance sur la technologie ; la réaction dit tout de même quelque chose des attentes.

Ce que nous verrons de plus en plus à l'avenir, ce sont ces modèles du monde hybrides, où l'on combine Gemini qui écrit du code et du texte, et Genie qui ingère cela en temps réel et simule la réalité à différents niveaux d'abstraction. — Tejas Kulkarni, directeur de recherche chez Google DeepMind, à TechCrunch

Ce qui reste hors de portée

La liste des limites publiée par DeepMind est précise. Les détails visuels et la permanence des objets peuvent dériver sur des sessions longues, après plusieurs modifications complexes de la consigne, ou pendant un mouvement de caméra. Les interactions physiques complexes, la précision de l'audio, le texte lisible à l'intérieur d'un monde, la précision spatiale et la cohérence à long terme restent des problèmes de recherche ouverts. TechCrunch rapporte que l'équipe n'a résolu ni la précision de l'audio ni la lisibilité du texte.

La communication sur la sécurité est brève mais concrète. DeepMind affirme que toutes les vidéos et tous les audios produits par Genie 4 portent SynthID, son filigrane imperceptible, et que l'entreprise a mené des évaluations de sécurité internes avant d'ouvrir l'aperçu. Le filigrane aide les plateformes à identifier un contenu généré si elles le cherchent. Il n'empêche personne de filmer un écran.

À surveiller

Le premier test est la livraison. Une fenêtre de lancement n'est pas une date, et l'écart entre un aperçu pour testeurs et un produit pour abonnés peut être long. Il faudra voir si les abonnés AI Ultra obtiennent Genie 4 au calendrier décrit par DeepMind, et si l'accès par API arrive avec les mêmes capacités ou avec un ensemble réduit.

Le deuxième est l'évaluation indépendante. La cohérence d'une scène sur deux minutes est le genre d'affirmation que des testeurs extérieurs peuvent mesurer, et le résultat intéressant sera la vitesse à laquelle un monde se défait quand quelqu'un cesse de le piloter comme dans la démo. La synchronisation audio et la lisibilité du texte sont plus faciles à vérifier et plus difficiles à truquer. L'effet des consignes longues l'est encore plus : DeepMind dit que la dérive s'aggrave après plusieurs modifications complexes, ce qui est exactement la façon de travailler d'une équipe de cinéma. Un système qui fonctionne pour une prise propre et se dégrade à la cinquième révision a un marché plus étroit que ne le suggère le lancement.

Le troisième est ce que font les acheteurs. Si des studios de jeux commencent à utiliser des mondes générés en préproduction, le titre de Bloomberg paraîtra prophétique. S'ils le traitent comme un outil de storyboard et rien de plus, la réaction du marché était du bruit. La robotique est le cas le plus discret : un simulateur assez bon pour entraîner une politique aurait plus d'importance que n'importe quel clip de démonstration, et rien dans le matériel de lancement ne le montre encore.

Pour l'instant, DeepMind a montré une meilleure démo que la précédente, avec du son. Elle n'a pas montré que le système tient quand quelqu'un de l'extérieur le pilote. L'aperçu par API et la première vague de testeurs seront les premières vraies preuves dans un sens ou dans l'autre.

Image de couverture : un monde de démonstration Genie 4 généré par Google DeepMind, issu des images de lancement publiées par Ars Technica.