Googles DiffusionGemma generiert Text aus Rauschen – und korrigiert sich dabei selbst

Zusammenfassung der Nachrichten

Google hat am 10. Juni 2026 (Pacific Time) DiffusionGemma veröffentlicht, ein experimentelles Open-Weight-Sprachmodell, das den traditionellen Ansatz der Wort-für-Wort-Generierung zugunsten der Textdiffusion aufgibt – eine Technik aus der Bildsynthese. Dies liefert bis zu viermal schnellere Ausgabegeschwindigkeiten und ermöglicht eine integrierte Selbstkorrekturfähigkeit, die bei Standard-autoregressiven Modellen nicht verfügbar ist.

Was ist Textdiffusion und warum ist sie wichtig?

Traditionelle große Sprachmodelle generieren Text autoregressiv: ein Token nach dem anderen, von links nach rechts, wobei jedes Wort von allen vorhergehenden abhängt. DiffusionGemma verfolgt einen grundlegend anderen Weg. Inspiriert von Diffusionsmodellen in der Bildgenerierung beginnt es mit einem Rauschblock und verfeinert diesen iterativ über mehrere Entrauschungsschritte zu kohärentem Text. Anstatt sich sequenziell für jedes Token zu entscheiden, bewertet und überarbeitet das Modell ganze Blöcke gleichzeitig, wodurch Informationen bidirektional über die Ausgabe fließen können.

Diese Änderung der Architektur hat bedeutende Auswirkungen auf geschwindigkeitskritische Anwendungen. Auf einer einzelnen NVIDIA H100 erreicht DiffusionGemma über 1.000 Token pro Sekunde. Auf einer Consumer-Grafikkarte NVIDIA GeForce RTX 5090 hält es mehr als 700 Token pro Sekunde – Leistungswerte, die traditionelle autoregressive Modelle vergleichbarer Größe nur schwer erreichen können.

Modellarchitektur und Spezifikationen

DiffusionGemma basiert auf dem Gemma 4 Backbone, speziell der 26B-A4B Mixture of Experts (MoE)-Architektur. Googles Ingenieure integrierten einen Diffusionskopf auf dieser Basis. Obwohl das Modell insgesamt 26 Milliarden Parameter hat, aktiviert es während der Inferenz nur 3,8 Milliarden Parameter, wodurch die Rechenanforderungen überraschend moderat bleiben.

Für den praktischen Einsatz passt DiffusionGemma quantisiert in ein 18 GB VRAM-Budget und ist damit auf High-End-Consumer-GPUs zugänglich. Das Modell unterstützt ein Kontextfenster von 256.000 Token und kann Text-, Bild- und Videoeingaben in über 140 Sprachen verarbeiten.

Die Modellgewichte werden unter der Apache 2.0-Lizenz veröffentlicht und sind auf Hugging Face verfügbar, sodass Forscher und Entwickler das Modell frei herunterladen, feinabstimmen und weiterverbreiten können.

Block-autoregressive Entrauschung und Selbstkorrektur

Eine der technisch interessantesten Fähigkeiten von DiffusionGemma ist sein Selbstkorrekturmechanismus. Da das Modell bei jedem Entrauschungsschritt den gesamten Ausgabeblock gleichzeitig bewertet, kann es Token mit geringer Konfidenz während der Verfeinerung neu verrauschen und ersetzen – etwas, das in der Standard-autoregressiven Generierung architektonisch unmöglich ist, wo jedes Token einmal festgelegt und nie wieder besucht wird.

Für längere Ausgaben verwendet DiffusionGemma block-autoregressive Entrauschung: Es entrauscht einen 256-Token-Block vollständig und speichert ihn im Key-Value-Cache, bevor es zum nächsten Block übergeht. Dieses Design kombiniert die parallele Effizienz der Diffusion mit der sequenziellen Kohärenz, die für längere Ausgaben erforderlich ist.

Unter Uniform State Diffusion bewertet das Modell kontinuierlich seine gesamte Arbeitsfläche. Wenn die Konfidenz für ein bestimmtes Token sinkt, ersetzt der Sampler dieses Token durch ein zufälliges – wodurch effektiv lokales Rauschen für einen weiteren Verfeinerungsdurchlauf wieder eingeführt wird. Diese iterative Selbstheilung ermöglicht es dem Modell, frühe Fehler zu beheben, ohne die kaskadierenden Fehler, die bei der Links-nach-rechts-Generierung üblich sind.

Sudoku als Benchmark für strukturiertes Denken

Google veröffentlichte auch eine feinabgestimmte Variante von DiffusionGemma, die mit einem supervised fine-tuning (SFT)-Rezept in JAX auf Sudoku-Rätsel trainiert wurde. Die Ergebnisse zeigen, wie Diffusionsmodelle auf aufgabenspezifische Optimierung reagieren. Das Basis-DiffusionGemma-Modell löst Sudoku-Rätsel mit einer Erfolgsquote von etwa 0 %, da es kein rätselspezifisches Training erhält. Nach dem Fine-Tuning auf einem kuratierten Sudoku-Datensatz erreicht dasselbe Modell eine Erfolgsquote von 80 %.

Über die Genauigkeit hinaus ist das feinabgestimmte Modell deutlich effizienter. Es löst Rätsel in etwa 12 Entrauschungsschritten im Vergleich zu 48 Schritten für das Basismodell. Das Fine-Tuning lehrt das Modell, seine Token-Repräsentationen früher zu stabilisieren, was ein frühes Beenden der Entrauschungsschleife ermöglicht und sowohl Latenz als auch Rechenkosten reduziert.

Das Sudoku-Beispiel dient als klare Veranschaulichung eines breiteren Architekturprinzips: Das Diffusionsframework ermöglicht nicht-lineares Denken, bei dem das Modell gleichzeitig über voneinander abhängige Einschränkungen über die gesamte Ausgabe nachdenken kann, anstatt in einer Links-nach-rechts-Festlegungsreihenfolge gefangen zu sein. Diese Eigenschaft macht Diffusionsmodelle besonders gut für Aufgaben mit starker globaler Struktur geeignet, wie z. B. Code-Generierung, Ausgabe strukturierter Daten und logische Rätsel.

Zielanwendungsfälle und anerkannte Einschränkungen

Google positioniert DiffusionGemma für Forscher und Entwickler, die an geschwindigkeitskritischen, interaktiven lokalen Workflows arbeiten. Hervorgehobene Anwendungen sind Inline-Code-Bearbeitung, schnelle kreative Iteration und die Generierung nicht-linearer Inhaltsstrukturen, bei denen die parallele Layoutgestaltung Vorteile gegenüber der sequenziellen Komposition bietet.

Googles Entwicklerhandbuch räumt einen klaren Qualitätskompromiss ein: Die allgemeine Ausgabequalität von DiffusionGemma liegt derzeit unter der von Standard-Gemma 4 im autoregressiven Modus. Das Modell wird als experimentell beschrieben, und Google stellt die Veröffentlichung als Forschungsartefakt dar, das darauf abzielt, das Verständnis der Community für Textdiffusion als praktikables Generierungsparadigma voranzutreiben – nicht als direkter Ersatz für produktionsreife Modelle, die Anweisungen befolgen.

Verfügbarkeit und Ressourcen

DiffusionGemma ist auf Hugging Face unter der Apache 2.0-Lizenz verfügbar. Google hat ein detailliertes Entwicklerhandbuch im Google Developers Blog zusammen mit einem Einführungsbeitrag im Google AI Blog veröffentlicht. Ein von der Community gepflegter lokaler Runner ist ebenfalls für Entwickler verfügbar, die das Modell vollständig offline und ohne Cloud-Abhängigkeiten ausführen möchten.

Die Veröffentlichung spiegelt einen breiteren Forschungstrend wider, Alternativen zur autoregressiven Dekodierung zu erforschen. Da AR-Modelle inhärent sequenziell dekodieren, sind sie zur Inferenzzeit schwer zu parallelisieren. Die diffusionsbasierte Generierung bietet einen strukturell anderen Weg – einen, bei dem die Rechenleistung mit der Anzahl der Entrauschungsschritte und nicht mit der Ausgabelänge skaliert und bei dem globale Kohärenz innerhalb jedes Schritts erreichbar ist.