Anthropics automatisierter Forscher hat menschliche KI-Sicherheitsexperten übertroffen

Zusammenfassung der Nachrichten

Anthropic hat neue Forschungsergebnisse veröffentlicht, die zeigen, dass ein automatisiertes System, das auf den eigenen Claude-Modellen basiert, eigenständig Techniken zur Reduzierung von fehlausgerichtetem Verhalten in KI-Modellen entdecken kann. In einigen Tests übertraf es Methoden, die von erfahrenen menschlichen Alignment-Forschern vorgeschlagen wurden. Die Arbeit, geleitet von Anthropic-Fellow Chen Yueh-Han und detailliert beschrieben in einem Paper mit dem Titel „Automated Researchers Can Reliably Mitigate Alignment Failures“, wurde am 28. August 2026, US-Ostküstenzeit, veröffentlicht und bietet eine der bislang klarsten öffentlichen Demonstrationen dafür, wie eine begrenzte, enge Form der KI-Selbstverbesserung in der Praxis aussieht.

Was das System tatsächlich tut

Das System, das Anthropic als Automated Alignment Researcher (AAR) bezeichnet, ist darauf ausgelegt, eine bestimmte Kategorie von KI-Sicherheitsproblemen zu beheben: fehlausgerichtete Verhaltensweisen wie Schmeichelei, täuschendes Schlussfolgern oder Reward Hacking, die während des Trainings auftreten. Anstatt darauf zu warten, dass ein menschlicher Forscher das Problem diagnostiziert und eine Lösung vorschlägt, durchsucht der AAR bestehende Forschungsliteratur, schlägt eine eigene Minderungsmethode vor und führt dann ein kurzes Trainingsexperiment durch – typischerweise etwa 30 Minuten pro Iteration – um zu testen, ob die Lösung funktioniert. Methoden, die den Ziel-Benchmark verbessern, werden beibehalten und weiter verfeinert; Methoden, die scheitern, werden verworfen. Der Prozess wiederholt sich automatisch über viele Iterationen hinweg.

Anthropic testete den AAR anhand von 10 separaten Alignment-Benchmarks, von denen jeder einen anderen bekannten Fehlermodus repräsentiert. Laut dem Paper verbesserte das automatisierte System die Leistung in allen 10 Benchmarks, ohne die allgemeinen Fähigkeiten des Modells messbar zu verschlechtern – ein wichtiger Vorbehalt, da Alignment-Korrekturen manchmal den Preis haben, dass ein Modell weniger nützlich oder ausweichender wird.

Der Vergleich mit Menschen

Die zentrale Zahl aus dem Paper ist ein direkter Vergleich mit menschlichen Forschern: „Die beste AAR-Methode übertrifft das, was erfahrene Menschen vorschlagen, im Durchschnitt innerhalb von sechs Stunden.“ Mit anderen Worten: Nach sechs Stunden autonomer Iteration übertraf die beste vorgeschlagene Lösung des automatisierten Systems die mittlere Minderungsstrategie, die von erfahrenen menschlichen Alignment-Forschern an denselben Benchmarks vorgeschlagen wurde.

Anthropic hob außerdem einen Kostenvergleich hervor. Der AAR läuft mit etwa 4 Dollar pro Stunde an API-Inferenzkosten, verglichen mit geschätzten 150 Dollar pro Stunde für die Zeit eines menschlichen Forschers. Das Unternehmen rahmt dies weniger als Behauptung, automatisierte Forscher seien qualitativ besser als Menschen, sondern eher als Beleg dafür, dass automatisierte Alignment-Arbeit inzwischen billig und schnell genug ist, um kontinuierlich und in großem Maßstab zu laufen.

Warum Anthropic dies als „Vorgeschmack“ auf Selbstverbesserung bezeichnet und nicht als das Echte

Anthropic ist sorgfältig darum bemüht, den AAR als engen Machbarkeitsnachweis und nicht als universell einsetzbares, sich selbst verbesserndes System darzustellen. Das Paper weist darauf hin, dass seine Wirksamkeit stark davon abhängt, wie gut die verwendeten Benchmarks tatsächliche Alignment-Ziele widerspiegeln, und davon, dass die zugrunde liegende Literaturdatenbank, die das System durchsucht, aktuell gehalten wird. Wenn ein Benchmark ein schlechter Stellvertreter für echtes Alignment ist, könnte der AAR auf das Falsche hin optimieren – ein bekanntes Risiko im maschinellen Lernen, das als Reward- oder Benchmark-Hacking bekannt ist.

Dennoch stellt das Paper unmissverständlich fest, dass „automatisiertes Alignment-Nachtraining in naher Zukunft praktikabel werden könnte“, und Forscher sehen die Arbeit als frühen Baustein hin zu KI-Systemen, die sinnvoll zu ihrer eigenen Sicherheitsforschung beitragen können – und möglicherweise, letztlich, zu breiteren Aspekten ihres eigenen Trainings und ihrer eigenen Entwicklung.

Wie dies in die breitere Debatte über rekursive Selbstverbesserung passt

Das AAR-Paper erscheint inmitten einer breiteren Branchendiskussion über rekursive Selbstverbesserung – die Idee, dass KI-Systeme irgendwann dabei helfen könnten, ihre Nachfolger mit immer weniger menschlicher Beteiligung zu entwerfen, zu trainieren oder zu verfeinern. Anthropic hat zuvor argumentiert, dass dieses Szenario, manchmal als RSI abgekürzt, ernsthafte Aufmerksamkeit verdient: Das Unternehmen hat intern festgestellt, dass Claude-Modelle bereits einen Großteil des Codes schreiben, der in Anthropics eigene Systeme übernommen wird – ein Zeichen dafür, wie schnell KI-Unterstützung in die KI-Entwicklung selbst integriert wurde. Anthropic hat die Idee eines globalen Koordinierungsmechanismus ins Spiel gebracht, der der Branche die Möglichkeit geben würde, die Entwicklung von Frontier-KI zu verlangsamen oder zu pausieren, falls Anzeichen einer außer Kontrolle geratenen Selbstverbesserung auftauchen – mit losen Vergleichen zu Rüstungskontrollrahmen.

Diese Darstellung hat bei externen Forschern Skepsis hervorgerufen. Einige argumentieren, dass sicherheitsorientierte Rhetorik eines kommerziellen KI-Labors gegen die wettbewerblichen Anreize abgewogen werden sollte, weiterhin schnellere und leistungsfähigere Modelle zu bauen. Unabhängig davon testete eine von Princeton geleitete Studie, die Anfang August veröffentlicht wurde, ob KI-Agenten wirklich ergebnisoffene KI-Forschung betreiben könnten – also vollständige Papers schreiben statt eng definierte Benchmarks zu verbessern – und kam zu dem Ergebnis, dass aktuelle Systeme technisch dazu in der Lage, aber kreativ schwach seien und nicht beurteilen könnten, welche Ideen es wert sind, weiterverfolgt zu werden, so wie es ein menschlicher Forscher täte. Anthropic-Mitgründer Jack Clark hat diese Art von Kreativitätslücke als „bearishes Signal“ dafür bezeichnet, wie bald vollständige rekursive Selbstverbesserung tatsächlich eintreten könnte.

Das Fazit

Zusammengenommen deuten die Forschungsergebnisse auf einen Mittelweg zwischen zwei Extremen hin. KI ist noch nicht zu ergebnisoffenem, menschengleichem Forschungsurteil fähig, aber sie ist nachweislich nützlich bei engen, klar spezifizierten Forschungsaufgaben – darunter bemerkenswerterweise auch einige Aspekte der KI-Sicherheitsforschung selbst. Anthropics AAR-Arbeit zeigt, dass diese enge Fähigkeit schnell genug voranschreitet, dass automatisierte Alignment-Werkzeuge innerhalb eines relativ kurzen Zeitrahmens von der Forschungsdemo zur praktischen Anwendung übergehen könnten – auch wenn die schwierigeren, ergebnisoffeneren Formen der KI-Selbstverbesserung weiterhin ungelöst bleiben.