Google DeepMind führt erste doppelt verblindete Evaluierung eines Frontier-KI-Modells durch
Zusammenfassung der Nachricht
Google DeepMind gab am 27. August 2026 (US-Westküstenzeit) bekannt, dass das Unternehmen die erste doppelt verblindete Evaluierung eines proprietären KI-Modells der Frontier-Klasse erprobt hat. Dabei kam eine hardwareverschlüsselte Rechenumgebung zum Einsatz, um die internen Gewichte eines Modells und die Test-Prompts eines externen Prüfers gleichzeitig voreinander zu verbergen. Der Pilotversuch testete ein leichtgewichtiges Mitglied der Gemini-Familie, Gemini 2.5 Flash Lite, und wurde gemeinsam mit dem Singapore AI Safety Institute (AISI), der gemeinnützigen Organisation für datenschutzfreundliches Rechnen OpenMined, dem KI-Benchmarking-Konsortium MLCommons und dem Evaluierungsunternehmen AVERI durchgeführt.
Das Problem: Ein struktureller Zielkonflikt beim Testen von KI
Unabhängige Evaluierung soll eine der wichtigsten Kontrollen dafür sein, wie leistungsfähig und wie sicher ein großes Sprachmodell tatsächlich ist. Doch laut DeepMind und seinen Partnern beruht dieser Prozess seit Langem auf einem unangenehmen Zielkonflikt. Für einen strengen externen Test hat ein Prüfer traditionell zwei Möglichkeiten: entweder seine vertraulichen Benchmark-Fragen an den Modellentwickler weiterzugeben, damit das Modell intern damit getestet werden kann, oder den Entwickler zu bitten, die proprietären Gewichte des Modells der eigenen Infrastruktur des Prüfers zugänglich zu machen. Beide Optionen sind unangenehm. Wer Benchmark-Prompts im Voraus weitergibt, riskiert eine „Kontamination“ – die Sorge, dass ein Modell oder seine Entwickler die Leistung absichtlich oder unabsichtlich auf bereits gesehene Fragen abstimmen und ein hoher Punktestand dann eher Vertrautheit mit dem Test als echte Fähigkeiten widerspiegelt. Wer dagegen Modellgewichte weitergibt, legt das zentrale geistige Eigentum eines Unternehmens offen und schafft Sicherheits- und Datensouveränitätsbedenken für beide Seiten. In der Vergangenheit stützten sich Evaluierungen auf Verträge, Geheimhaltungsvereinbarungen und institutionelles Vertrauen, um dieses Risiko zu beherrschen – nicht auf eine technische Garantie.
Wie der doppelt verblindete Aufbau funktioniert
Die Antwort des Pilotversuchs bestand darin, Vertrauen aus der Gleichung zu entfernen und durch kryptografische Durchsetzung zu ersetzen. DeepMind führte die Evaluierung innerhalb von Confidential Space durch, einem Produkt aus dem Confidential-Computing-Portfolio von Google Cloud, das hardwarebasierte vertrauenswürdige Ausführungsumgebungen (TEEs) nutzt, um Daten so zu versiegeln, dass nicht einmal der Infrastrukturbetreiber einsehen kann, was darin ausgeführt wird. In diesem Aufbau wurden die Modellgewichte von Gemini 2.5 Flash Lite und die Benchmark-Prompts des Prüfers gleichzeitig in dieselbe versiegelte Enklave geladen, wobei die Daten jeder Partei vor der jeweils anderen verschlüsselt waren. Die Fragen des Prüfers wurden innerhalb der Enklave gegen das Modell ausgeführt, und nur die resultierenden Punktzahlen – nicht die zugrunde liegenden Gewichte oder Prompts – wurden nach außen freigegeben. Den Berichten über das technische Design zufolge wurde das PySyft-Framework von OpenMined eingesetzt, um durchzusetzen, dass innerhalb der Enklave ausgeführter Code keine unbefugten ausgehenden Netzwerkaufrufe tätigen konnte. Damit soll verhindert werden, dass geschützte Daten einer der beiden Parteien über einen Seitenkanal herauskopiert werden. Die kryptografische Attestierung ermöglicht es jeder Seite, unabhängig zu überprüfen, dass die Enklave korrekt konfiguriert war und dass weder der Modellanbieter noch der Prüfer das geschützte Material der anderen Seite einsehen konnte. Dadurch wird die „doppelt verblindete“ Eigenschaft zu einer hardwaregestützten Eigenschaft statt zu einem durch Richtlinien abgesicherten Versprechen.
Was getestet wurde
Im Rahmen dieses Frameworks wurden zwei Evaluierungen durchgeführt. Die erste, geleitet von AVERI, MLCommons und OpenMined, verglich Gemini 2.5 Flash Lite mit einem vertraulichen Testdatensatz, ohne die Prompts oder die Modellinterna der jeweils anderen Partei offenzulegen. Die zweite, separat vom Singapore AI Safety Institute durchgeführt, nutzte eigene vertrauliche Prompts, um den Umgang des Modells mit schädlichen Inhalten auf eine Weise zu untersuchen, die für Singapurs regulatorischen und kulturellen Kontext relevant ist – ebenfalls ohne dass eine Seite Einblick in die geschützten Daten der anderen erhielt. DeepMind hat Gemini 2.5 Flash Lite als leichtgewichtiges, effizientes Mitglied seiner Gemini-Modellfamilie beschrieben, was es zu einem relativ kostengünstigen Kandidaten für einen erstmaligen Pilotversuch macht, bevor der Ansatz möglicherweise auf größere Frontier-Modelle ausgeweitet wird.
Warum das wichtig ist
Benchmark-Kontamination ist in der gesamten KI-Branche zu einem zunehmend sichtbaren Problem geworden, da öffentliche Bestenlisten und Evaluierungssammlungen veröffentlicht, automatisch ausgelesen und in manchen Fällen versehentlich oder absichtlich in Trainingsdaten aufgenommen werden. Unabhängige Prüfstellen, Sicherheitsinstitute und Forschende haben wiederholt darauf hingewiesen, dass der Punktestand eines Modells bei einem weithin bekannten Benchmark möglicherweise weniger über echte Fähigkeiten aussagt als darüber, wie viel dieses Benchmarks in die Trainingsdaten gelangt ist. Eine kryptografisch durchgesetzte doppelt verblindete Methode bietet eine Möglichkeit, Evaluierungsinhalte vor Entwicklern vertraulich zu halten und Entwicklern gleichzeitig die Zusicherung zu geben, dass ihre proprietären Modellgewichte nicht kopiert oder externen Prüfern zugänglich gemacht werden. DeepMind und seine Partner stellen den Pilotversuch als einen Schritt dahin dar, unabhängigen Organisationen – einschließlich staatlicher Sicherheitsinstitute – eine Möglichkeit zu geben, fortgeschrittene Modelle streng zu testen, ohne dass eine der beiden Seiten Kompromisse bei Datensouveränität, Sicherheit oder geistigem Eigentum eingehen muss.
Wie es weitergeht
DeepMind und MLCommons veröffentlichten gleichzeitig Einzelheiten zu dem Pilotversuch und stellten ihn als frühen Machbarkeitsnachweis dar und nicht als fertigen Evaluierungsstandard. Die beteiligten Unternehmen und Institute haben Interesse signalisiert, den vertraulichen doppelt verblindeten Ansatz auf eine breitere Palette von Benchmarks und schließlich auf größere und leistungsfähigere Frontier-Modelle auszuweiten – über das leichtgewichtige Gemini 2.5 Flash Lite hinaus, das in diesem ersten Durchlauf verwendet wurde. Eine breitere Übernahme dürfte davon abhängen, ob andere KI-Entwickler und Prüfer bereit sind, ihre eigenen Modelle und Benchmarks in ähnlichen hardwaregesicherten Umgebungen auszuführen, sowie von der fortgesetzten Prüfung, ob vertrauenswürdige Ausführungsumgebungen Seitenkanäle in der Praxis vollständig schließen können.