Genie 4 bringt natives Audio und Live-Textsteuerung in Googles Weltmodell

Zusammenfassung der News

Google DeepMind hat am Dienstag, dem 27. Oktober 2026, Genie 4 angekündigt – ein neues Weltmodell, das interaktive, fotorealistische Umgebungen in Echtzeit erzeugt und erstmals in der Genie-Reihe Audio direkt zusammen mit den Bildern generiert. Die Veröffentlichung ist vorerst eine Forschungsvorschau, die auf vertrauenswürdige Tester beschränkt ist; eine breitere Einführung für Abonnenten von Google AI Ultra ist in den kommenden Wochen geplant.

Was Genie 4 ist

Ein Weltmodell ist ein KI-System, das simuliert, wie eine Umgebung aussieht und sich verhält, sodass ein Nutzer sich darin bewegen und sie während des Betriebs verändern kann. Genie 4 ist der Nachfolger von Genie 3, das Google etwas mehr als ein Jahr zuvor als Forschungsvorschau veröffentlicht hatte. DeepMind beschreibt das neue Modell als nativ multimodal: Es erzeugt Bilder, Ton und interaktive Dialoge gemeinsam, anstatt Audio nachträglich hinzuzufügen.

Laut DeepMind simuliert das Modell, wie eine Welt auf ein anfängliches Ereignis reagiert – einschließlich ihres Klangs und der Art, wie sich die Menschen darin bewegen, reagieren und sprechen. Zudem verbessert es den Fotorealismus und flüssige Bewegungen und simuliert physikalische Gesetze der realen Welt wie Aerodynamik und Kollisionen.

Natives Audio

DeepMind bezeichnet Genie 4 als das erste Echtzeit-Weltmodell, das Audio nativ erzeugt. Jede Welt erhält einen zur Umgebung passenden Ambient-Sound, etwa Wind oder Wellen. Auch Musik wird generiert, und Charaktere können Echtzeitdialoge führen, die sich an die Handlungen des Nutzers und an Ereignisse in der Szene anpassen.

TechCrunch weist darauf hin, dass der Konkurrent Runway einige Monate zuvor mit GWM Worlds 2 ein spielbares Weltmodell mit Audiogenerierung veröffentlicht hat. Googles Videomodell Veo erzeugt ebenfalls hochauflösende Videos mit synchronisiertem Audio, produziert allerdings Clips statt begehbarer Welten.

Echtzeitsteuerung

Nutzer bewegen sich und steuern die Kamera mit den üblichen Tastaturbefehlen. Während eine Simulation läuft, können sie auch Text-Prompts eingeben, um sie zu verändern – beispielsweise indem sie das Wetter ändern, den Kamerawinkel verschieben oder eine Person bzw. ein Objekt hinzufügen. Gemini passt jeden Prompt an die umgebende Szene an und sorgt dafür, dass die Welt zwischen den Eingaben kohärent fortschreitet.

Charaktere in der Welt bewegen sich natürlich, reagieren auf ihre Umgebung und lassen sich in Echtzeit steuern. TechCrunch berichtet, dass Szenen nun bis zu zwei Minuten lang konsistent bleiben – doppelt so lange wie bei Genie 3.

Einblick in die Rolle von Gemini im Regelkreis

Genie 4 kombiniert pixelgenaues Rendering mit dem strukturierten Reasoning von Gemini. DeepMind erklärt, dass Gemini Omni die Simulationen in realem Aussehen und Verhalten verankert, während andere Gemini-Modelle das Reasoning liefern, das Kohärenz und Kontinuität sicherstellt. Gemini 3.8 Flash fungiert als steuernder Agent: Er beobachtet die Szene, zerlegt Ziele in Schritte, überprüft jeden Schritt und passt seinen Plan an, wenn sich die Welt verändert oder der Nutzer eingreift.

Tejas Kulkarni, Research Director bei Google, sagte gegenüber TechCrunch: „Was wir in Zukunft zunehmend sehen werden, sind diese hybriden Weltmodelle.“ Der eigene Beitrag von DeepMind deutet in dieselbe Richtung und schlägt Hybride vor, die das Reasoning von Gemini mit dem Rendering von Genie kombinieren.

Robotik- und Agententraining

DeepMind positioniert Genie 4 als Möglichkeit, Trainingsumgebungen für Roboter und Software-Agenten zu erstellen. In einer Demonstration im Zusammenhang mit Gemini Robotics zerlegte ein Modell namens Gemini 4 Argon eine Aufgabe in einzelne Schritte, während Genie 4 das Ergebnis simulierte. Gezeigt wurde der humanoide Roboter Apollo von Apptronik beim Damespielen, wobei die Aufgabenschritte während des Renderings als Texteinblendungen dargestellt wurden. Ziel ist es, Roboterszenarien zunächst in der Simulation zu testen, bevor sie in der physischen Welt eingesetzt werden.

Erste Anwendungsfälle

Vertrauenswürdige Tester haben kreative Regiearbeit und Pre-Visualisierung erprobt, historische oder Archivfotos in simulierte Umgebungen verwandelt, Spielkonzepte schnell prototypisiert und Unternehmensszenarien generiert. TechCrunch beschreibt zudem eine Lernidee, bei der man in ein historisches Gemälde eintaucht und mit den dargestellten Personen spricht.

Diego Rivas, Ingenieur bei Google DeepMind, erklärte, der Echtzeit-Aspekt sei besonders für Ideenfindung und Storyboarding wichtig, wo es darauf ankomme, „im Flow zu bleiben“. Er fügte hinzu, dass man noch ganz am Anfang stehe und das durchgängige Produkterlebnis noch nicht klar definiert sei. Werkzeuge wie Gemini Omni könnten Genie-Prototypen irgendwann in kreative Assets verwandeln, doch das sei „noch ein weiter Weg“.

Einschränkungen und Sicherheit

Google geht offen mit den Schwächen des Modells um. Visuelle Details und Objektpermanenz können sich im Laufe der Zeit noch verschieben oder verändern, insbesondere bei längeren Sitzungen oder nach vielen Bearbeitungen. Komplexe physikalische Interaktionen, die Genauigkeit von Echtzeit-Audio, lesbarer Text innerhalb der Welt, räumliche Präzision und langfristige Konsistenz bleiben aktive Forschungsbereiche. Weder der Beitrag von DeepMind noch TechCrunch nennen Angaben zu Ausgabeauflösung, Bildrate oder exakter Clip-Länge.

Hinsichtlich der Sicherheit teilt DeepMind mit, vor der Vorschau interne Tests durchgeführt zu haben, eine schrittweise Einführung beginnend mit vertrauenswürdigen Testern zu nutzen und Schutzmaßnahmen anzuwenden, die den Richtlinien von Google entsprechen. Alle erzeugten Video- und Audiodaten tragen ein SynthID-Wasserzeichen.

Verfügbarkeit

Genie 4 ist derzeit eine Forschungsvorschau für vertrauenswürdige Tester. In den kommenden Wochen soll es über Project Genie für Abonnenten von Google AI Ultra sowie für Early-Access-Partner der Gemini API und von Google AI Studio verfügbar werden. Über Project Genie, das am 29. Januar 2026 startete und auf Genie 3 aufbaut, ist eine Warteliste geöffnet. Konkrete Preise und Länderverfügbarkeiten außerhalb des Tarifs Google AI Ultra wurden noch nicht bekannt gegeben.

Branchenumfeld

Weltmodelle ziehen erhebliche Investitionen an. TechCrunch merkt an, dass AMD World Labs übernimmt, Amazon angeblich Gespräche über den Kauf von Decart führt und Rivian Third Dimension für Simulationen zum autonomen Fahren erworben hat. Als kommerzielle Anwendungsfälle werden meist Gaming, interaktives Lernen und Robotik genannt – genau die Bereiche, die Google auch für Genie 4 hervorhebt.

Warum das wichtig ist

Durch natives Audio und freie Bearbeitungsmöglichkeiten entwickeln sich Weltmodelle von stummen, kurzen Demos hin zu Erlebnissen, die eher interaktiven Szenen gleichen. Das Zwei-Minuten-Konsistenzfenster und die eingeräumten Abweichungen zeigen, dass die Technologie noch am Anfang steht. Doch das hybride Design, bei dem ein Reasoning-Modell plant und prüft, während ein Weltmodell rendert, ist ein Muster, das Forscher künftig häufiger erwarten.

Quellen: TechCrunch (27. Oktober 2026), Google-DeepMind-Blog „Genie 4: A new generation of world simulation“ (27. Oktober 2026) sowie Zweitberichterstattung von Quartz, Analytics India Magazine und AI Weekly.