OpenAIs neue „Recurrent Depth“-Technik weckt Bedenken bei der Chain-of-Thought-Überwachung

Zusammenfassung

OpenAIs Modell der nächsten Generation, das Berichten zufolge den Codenamen Astra trägt, zieht scharfe Kritik von Forschern im Bereich KI-Sicherheit auf sich. Grund dafür sind Berichte, wonach es auf einer Reasoning-Technik namens „Recurrent Depth“ basiert, die interne Berechnungsschichten in einer Schleife wiederverwendet, anstatt eine vollständig sequenzielle, für Menschen lesbare Chain of Thought zu erzeugen – ein Verfahren, das sich als Standardwerkzeug zur Überwachung fortschrittlicher KI-Systeme etabliert hat. Die Berichte, die am Morgen des 2. September 2026 (US-Ostküstenzeit) erstmals von The Information detailliert beschrieben und später von TechCrunch sowie anderen Medien bestätigt wurden, bezeichnen den Ansatz als deutliche Abkehr von der bisherigen Funktionsweise führender Reasoning-Modelle. Sicherheitsforscher warnen, dass es dadurch erheblich schwieriger werden könnte, zu erkennen, wenn ein Modell unbeabsichtigt oder täuschend handelt.

Was ist Recurrent Depth?

Recurrent Depth, manchmal auch als „opake Rekurrenz“ bezeichnet oder als Architektur eines „geschleiften Transformers“ beschrieben, ermöglicht es einem Modell, dieselbe Anfrage mehrfach über einen gemeinsamen Kernsatz interner Schichten zu verarbeiten, anstatt strikt vorwärts durch eine lineare Abfolge von Reasoning-Schritten zu gehen. Befürworter argumentieren, dass diese Technik die Leistung und Recheneffizienz eines Modells verbessern kann, ohne zusätzliche Parameter oder Speicher zu benötigen, da dieselben Schichten wiederholt genutzt werden, statt für mehr Reasoning-Tiefe einen immer größeren Stapel einzigartiger Schichten aufbauen zu müssen.

Der Nachteil besteht laut Forschern, die frühe technische Details geprüft haben, darin, dass ein Großteil dieser wiederholten internen Verarbeitung in den verborgenen Zuständen des Modells stattfindet und nicht als lesbarer Text ausgegeben wird. Herkömmliche Reasoning-Modelle, einschließlich der früheren Systeme der „o-Serie“ von OpenAI, erzeugen eine Chain of Thought: eine schrittweise schriftliche Nachvollziehbarkeit darüber, wie das Modell ein Problem bearbeitet, bevor es eine endgültige Antwort liefert. Diese Aufzeichnung bot Forschern – trotz ihrer Unvollkommenheit – eine Möglichkeit, in den Entscheidungsprozess eines Modells hineinzublicken und Anzeichen für Fehlausrichtung, Täuschung oder unsicheres Reasoning zu erkennen, bevor diese in einer nutzerseitigen Antwort auftauchen.

Warum Sicherheitsforscher besorgt sind

Die zentrale Sorge gilt nicht unbedingt dem aktuellen Verhalten von Astra, da mehrere Berichte darauf hindeuten, dass der Einsatz dieser Technik bislang begrenzt ist und die Chain of Thought weitgehend lesbar bleibt. Vielmehr beunruhigt die Forscher, wohin dieser Ansatz führen könnte, wenn er in künftigen Modellen aggressiver eingesetzt würde.

Buck Shlegeris, CEO der KI-Sicherheitsforschungsorganisation Redwood Research, erklärte, dass OpenAI sich bei einer Ausweitung von Recurrent Depth die Möglichkeit verschaffen würde, „die Rekurrenz massiv zu erhöhen“. Dies, so warnte er, „zerstört die Überwachbarkeit der Chain of Thought völlig“. Ryan Greenblatt, Chef-Wissenschaftler bei Redwood, teilte diese Sorge und sagte, opake Reasoning-Techniken könnten sich irgendwann so weit ausbreiten, dass Modelle fast ausschließlich innerhalb verborgener interner Kanäle schlussfolgern und nicht mehr in einer extern beobachtbaren Form.

Der KI-Kommentator Zvi Mowshowitz bezeichnete diesen Wandel als „Spiel mit dem Feuer“ und argumentierte, dass die Beibehaltung verlässlicher, überwachbarer Chains of Thought bisher nahezu als Branchenstandard galt – ein Standard, dessen Einhaltung sowohl OpenAI als auch Anthropic nach eigenen Angaben große Bedeutung beimaßen. Er gab zu bedenken, dass letztlich Regulierungen nötig sein könnten, um die Überwachbarkeit zu bewahren, falls Labore ohne klare Schutzmaßnahmen von diesem Standard abrücken sollten, während die Modelle leistungsfähiger werden.

Der unabhängige KI-Forscher Gary Marcus ging noch weiter und veröffentlichte einen Beitrag, in dem er diese Entwicklung als Überschreitung einer von ihm so genannten „roten Linie“ der KI-Sicherheit beschrieb. Er bezeichnete die Chain-of-Thought-Überwachung als eines der wenigen verlässlichen Werkzeuge, um die inneren Abläufe ansonsten opaker Large Language Models zu beobachten, und argumentierte, dass deren Aushöhlung – selbst schleichend – einen Schutzmechanismus entferne, auf den sich das Forschungsfeld mittlerweile verlasse.

Wie OpenAI reagiert hat

Jakub Pachocki, Chef-Wissenschaftler bei OpenAI, widersprach der Darstellung, die Technik sei ein vollständiger Bruch mit den Sicherheitsversprechen des Unternehmens. Er betonte, dass die tatsächliche Rechentiefe von Astra weiterhin nahe an der von Modellen der GPT-4-Ära liege, und erklärte, OpenAI priorisiere die Chain-of-Thought-Überwachung nach wie vor als wichtige Quelle für Sicherheitserkenntnisse darüber, wie seine Modelle zu Schlussfolgerungen gelangen. Pachockis Äußerungen deuten darauf hin, dass die aktuelle Umsetzung von Recurrent Depth aus Sicht von OpenAI eine gezielte Effizienzverbesserung darstellt und keinen Versuch, das Reasoning des Modells der Aufsicht zu entziehen.

Diese Darstellung hat externe Forscher nicht vollständig überzeugt, die darauf hinweisen, dass selbst ein begrenzter oder experimenteller Einsatz dieser Technik einen Präzedenzfall schafft. Ihre Sorge gilt weniger Astra in seiner heutigen Form als vielmehr der daraus entstehenden Anreizstruktur: Wenn sich Recurrent Depth als effektiv erweist, um die Leistung zu steigern und die Rechenkosten zu senken, könnte der Wettbewerbsdruck OpenAI oder andere Labore dazu drängen, den Einsatz in künftigen Modellen auszuweiten – möglicherweise zulasten der Transparenz.

Der breitere Kontext der KI-Aufsicht

Die Chain-of-Thought-Überwachung hat sich in den vergangenen Jahren neben Interpretierbarkeitsforschung und Red-Teaming als eines der praxistauglichsten Werkzeuge für Forscher erwiesen, die das Verhalten großer Reasoning-Modelle verstehen und überprüfen wollen. Da diese Modelle mit riesigen Datensätzen trainiert werden und über Prozesse zu Antworten gelangen, die selbst ihre Entwickler nicht vollständig durchdringen, bot eine lesbare Reasoning-Aufzeichnung einen seltenen, wenn auch unvollkommenen Einblick in die Schlussfolgerungen eines Systems.

Sicherheitsforscher verschiedener Organisationen, darunter Redwood Research sowie unabhängige Kommentatoren, haben Frontier-KI-Labore bereits zuvor aufgefordert, die Verlässlichkeit der Chain of Thought bei wachsender Modellleistung zu bewahren und zu stärken, anstatt sie für Leistungsgewinne zu opfern. Die Debatte um die Recurrent-Depth-Technik von Astra spiegelt eine grundsätzliche Spannung im Forschungsfeld wider: zwischen dem Bestreben, schnellere, günstigere und leistungsfähigere Modelle zu entwickeln, und dem Wunsch, deren Reasoning-Prozesse überprüfbar zu halten. Wie OpenAI und seine Konkurrenten diesen Konflikt bei künftigen Modellveröffentlichungen handhaben, dürfte für Forscher im Bereich KI-Sicherheit und Governance ein genau beobachtetes Thema bleiben.