OpenAI baute eine KI, die ihre eigenen Modelle jailbreakt, um sie sicherer zu machen
Zusammenfassung der Nachrichten
OpenAI hat Details zu einem internen System namens GPT-Red enthüllt, einem automatisierten Red-Teaming-Modell, das speziell darauf trainiert wurde, die fortschrittlichen KI-Systeme des Unternehmens anzugreifen, um Sicherheitslücken aufzudecken, bevor sie in der realen Welt ausgenutzt werden können. Die am 15. Juli 2026 (Eastern Time) veröffentlichte Mitteilung beschreibt, wie das Tool während der Entwicklung und Sicherheitsbewertung von GPT-5.6 ausgiebig eingesetzt wurde und wie seine Ergebnisse in das Training zurückgespeist wurden, um das veröffentlichte Modell erheblich widerstandsfähiger gegen Manipulationen zu machen.
Was GPT-Red tut
GPT-Red wurde entwickelt, um auf Prompt-Injection-Schwachstellen zu prüfen, einer Klasse von Schwächen, bei denen ein Angreifer versteckte oder bösartige Anweisungen in Inhalte einbettet, die ein Modell verarbeitet, und versucht, die ursprüngliche Aufgabe des Systems zu überschreiben. Anstatt sich ausschließlich auf menschliche Tester zu verlassen, die manuell nach diesen Fehlern suchen, hat OpenAI GPT-Red als dediziertes Angriffsmodell entwickelt, das kontinuierlich neue Angriffsstrategien generiert und diese in einer kontrollierten Umgebung gegen Verteidiger-Modelle testet.
Eine Self-Play-Trainingsschleife
Das System wurde mit einem Self-Play-Reinforcement-Learning-Ansatz trainiert, bei dem ein Angriffsmodell und eine Reihe von Verteidiger-Modellen durch wiederholtes gegenseitiges Kräftemessen verbessert werden. Der Angreifer erhält eine Belohnung, wenn es ihm gelingt, einen Verteidiger dazu zu bringen, eine eingeschleuste Anweisung zu befolgen, während der Verteidiger dafür belohnt wird, die bösartige Eingabe korrekt abzulehnen und gleichzeitig die legitime Aufgabe, die ihm ursprünglich gestellt wurde, abzuschließen. Während die Verteidiger besser darin werden, bekannte Angriffsmuster zu erkennen, wird GPT-Red gezwungen, vielfältigere und ausgefeiltere Techniken zu entdecken, und diese neu entdeckten Angriffe werden dann zum erneuten Training der Verteidiger verwendet. OpenAI beschreibt dies als einen eskalierenden Kreislauf, in dem offensive und defensive Fähigkeiten im Laufe der Zeit gemeinsam verbessert werden.
Übertrifft menschliche Red Teams
Laut von OpenAI geteilten Zahlen war GPT-Red in etwa 84 Prozent der Testszenarien erfolgreich, verglichen mit etwa 13 Prozent bei menschlichen Red-Teamern, die an denselben Herausforderungen arbeiteten. Das Unternehmen erklärte, dass diese Lücke zeigt, wie automatisierte, groß angelegte gegnerische Tests Schwachstellen weitaus schneller und konsistenter aufdecken können als eine rein manuelle Überprüfung, betonte aber gleichzeitig, dass menschliche Expertise eine wichtige ergänzende Bewertungsebene bleibt.
Entdeckung einer neuen Angriffsklasse
Ein bemerkenswertes Ergebnis des Projekts war, dass GPT-Red unabhängig ein bisher undokumentiertes Angriffsmuster identifizierte, das Forscher seitdem als "Fake Chain-of-Thought"-Angriff bezeichnen. Diese Technik zielt auf Reasoning-Modelle ab, die explizite Zwischenschritte zur Begründung generieren, bevor sie eine endgültige Antwort liefern. Der Angriff funktioniert, indem ein gefälschter Eintrag in diese Begründungsspur eingefügt wird, was dazu führt, dass das Modell so agiert, als hätte es bereits eine falsche Prämisse überprüft. Berichten zufolge waren solche Angriffe vor der Minderung in mehr als 95 Prozent der Fälle gegen das GPT-5.1-Modell erfolgreich. Nachdem die Erkenntnisse von GPT-Red zum erneuten Training des neueren Systems verwendet wurden, sank die Erfolgsquote für denselben Angriffsstil gegen GPT-5.6 unter 10 Prozent.
Menschliche Expertenprüfung wird weiterhin neben der Automatisierung durchgeführt
OpenAI wies darauf hin, dass automatisiertes Red-Teaming dazu bestimmt ist, das bestehende Red Teaming Network zu ergänzen und nicht zu ersetzen, das mehr als 200 externe Spezialisten aus Bereichen wie Chemie, Biosicherheit, Cybersicherheit, Recht und mehrsprachiger Linguistik umfasst. Diese externen Gutachter bewerten die Modelle weiterhin vor und nach der Veröffentlichung und arbeiten neben dem automatisierten System, um Schutzmaßnahmen gegen kreative, reale Missbrauchversuche zu testen.
Erhebliche Recheninvestitionen
Das Unternehmen gab an, dass es erhebliche Rechenressourcen, Berichten zufolge über 700.000 GPU-Stunden, für die Durchführung automatisierter Suchen nach sogenannten universellen Jailbreaks während der Entwicklung von GPT-5.6 aufgewendet hat. OpenAI erklärte auch, dass automatisiertes Red-Teaming während der Einsatzzeit des Modells weiterhin laufen wird, um die Identifizierung und Behebung neuer Schwachstellen fortlaufend zu ermöglichen, anstatt nur während eines festgelegten Testfensters vor der Veröffentlichung.
Warum es für die KI-Sicherheitsforschung wichtig ist
Forscher und Branchenbeobachter sehen GPT-Red als Beispiel für einen breiteren Trend in der KI-Sicherheit: die Nutzung von KI-Systemen selbst zum Testen und Härten anderer KI-Systeme in einem Umfang und einer Geschwindigkeit, die manuelles Testen nicht erreichen kann. Da Reasoning-Modelle leistungsfähiger werden und in autonomen oder agentenhaften Umgebungen weiter verbreitet sind, werden Tools wie GPT-Red als wichtiger Schritt zur Entwicklung von Schutzmaßnahmen angesehen, die mit immer ausgefeilteren Angriffstechniken Schritt halten können, während gleichzeitig Raum für menschliches Urteilsvermögen bei den schwierigsten und neuartigsten Sicherheitsfragen bleibt.