Anthropic-Forscher kündigt aus Angst vor unkontrollierter, sich selbst verbessernder KI

Zusammenfassung der Nachricht

Ein Forscher, der in den vergangenen drei Jahren sowohl bei OpenAI als auch bei Anthropic an der Entwicklung von KI-Modellen gearbeitet hat, ist zurückgetreten und hat eine deutliche Warnung veröffentlicht: Die beiden Unternehmen „rasen direkt auf eine sich selbst verbessernde Superintelligenz zu und spielen mit unserem Leben“. Der Rücktritt, der am Dienstagabend, dem 8. September 2026 (US-Ostküstenzeit), in einem Beitrag in den sozialen Medien angekündigt wurde, zog schnell eine öffentliche Bestätigung durch hochrangige Sicherheitsexperten von Anthropic nach sich, dass die zugrunde liegenden Befürchtungen intern geteilt werden. Damit flammt die Debatte darüber neu auf, wie KI-Labore kommerzielle Geschwindigkeit gegen langfristige Sicherheit abwägen.

Wer zurückgetreten ist und wovon

Der 27-jährige Forscher Jacob Coxon arbeitete zunächst bei OpenAI und später bei Anthropic in Teams für das Pre-Training und die Modellerstellung; letzterem Unternehmen schloss er sich Anfang 2026 an. In seiner Rücktrittserklärung sagte Coxon, er verlasse die KI-Branche vollständig, anstatt zu einem Konkurrenten zu wechseln. Er verstand seinen Abschied als bewusstes Signal an Kollegen, die noch in den Frontier-Laboren arbeiten, und nicht als routinemäßigen Karrierewechsel.

Was Coxon sagte

Coxons zentrale Behauptung war, dass keines der beiden Unternehmen, für die er gearbeitet hat, bei seinem Streben nach immer leistungsfähigeren, sich selbst verbessernden KI-Systemen verantwortungsvoll handelt. Er schrieb, dass kommende Systeme zu „übermenschlichen Systemen werden könnten, die alles hacken, jedes Fachgebiet über Nacht revolutionieren und echte Macht sowie Ressourcen erlangen können“, und argumentierte, dass der Branche für dieses Szenario angemessene Sicherheitsvorkehrungen fehlen.

Er zog einen scharfen Kontrast zwischen den internen Kulturen der beiden Labore. Bei OpenAI hätten die Mitarbeiter „die zivilisatorischen Risiken“ der Technologie, die sie entwickeln, „nicht tiefgreifend verinnerlicht“, sagte er. Bei Anthropic hingegen verstünden die Mitarbeiter die Risiken im Detail, seien aber weiterhin „in einem Wettlauf gefangen, um als Erste dort anzukommen“ – in der Annahme, dass kein konkurrierendes Labor so vorsichtig handeln würde, wie sie es täten, wenn sie das Tempo allein bestimmen könnten.

Gegenüber dem Wall Street Journal sagte Coxon separat: „Wir sind auf dem Weg zu vielen der aggressivsten dieser Szenarien, bei denen die Dinge bis Ende nächsten Jahres bereits außer Kontrolle geraten könnten.“ Er zog zudem einen historischen Vergleich zur Entwicklung von Atomwaffen und meinte: „Es ist irgendwie wahnsinnig, dass das auf den MacBooks einiger Ingenieure passieren muss, die in San Francisco leben, statt in einem Bunker in der Wüste, wie damals beim Manhattan-Projekt“ – womit er argumentierte, dass folgenreiche KI-Forschung in gewöhnlichen Geschäftsbüros stattfindet und nicht unter der Art von gezielter, isolierter Aufsicht, die frühere wissenschaftliche Hochrisikoprogramme kennzeichnete.

Das Kernproblem: Sich selbst verbessernde KI

Die spezifische technische Sorge, die Coxon ansprach, dreht sich um „sich selbst verbessernde“ KI – also Systeme, die in der Lage sind, zum Design oder Training ihrer eigenen Nachfolger beizutragen, wodurch Leistungssprünge potenziell schneller beschleunigt werden könnten, als Sicherheitsforschung und menschliche Kontrollmechanismen mithalten können. Sobald ein System sinnvoll dabei helfen kann, sich selbst zu verbessern, so argumentieren Forscher dieser Denkrichtung, könnte sich die Leistungsfähigkeit schnell potenzieren. Dadurch schrumpft das Zeitfenster, in dem Menschen überprüfen können, ob Ziele und Verhalten eines Modells zuverlässig mit menschlichen Absichten übereinstimmen.

Reaktionen aus dem Inneren von Anthropic

Coxons Warnung war unter anderem deshalb bemerkenswert, weil sie von Anthropics eigenen Sicherheitsforschern nicht bestritten, sondern bestätigt wurde. Evan Hubinger, der die Arbeit im Bereich Alignment Science im Unternehmen leitet, antwortete öffentlich: „Jacob hat hier recht – wir glauben wirklich aufrichtig, dass KI alle Menschen töten könnte! Ich persönlich halte die Wahrscheinlichkeit dafür innerhalb des nächsten Jahrzehnts für größer als 10 Prozent.“ Hubinger fügte hinzu, dass Anthropic noch keinen vollständigen Plan habe, um superintelligente Systeme sicher auszurichten.

Samuel Marks, der ein Forschungsteam für kognitive Überwachung im Unternehmen leitet, veröffentlichte einen unterstützenden Thread, in dem er anerkannte, dass KI-Entwickler allgemein davon ausgehen, dass die von ihnen entwickelte Technologie ein Risiko für das Aussterben der Menschheit darstellen könnte. Er merkte zudem an, dass die Besorgnis über diese Risiken bei erfahreneren Forschern tendenziell größer ist, da diese die Grenzen aktueller Systeme am besten verstehen.

Weder Anthropic noch OpenAI gaben zum Zeitpunkt der Veröffentlichung eine offizielle Stellungnahme ab, die direkt auf Coxons Rücktritt einging.

Größerer Kontext: Ein Muster von Abgängen

Coxons Abschied folgt auf eine Reihe ähnlicher Rücktritte in führenden KI-Laboren im vergangenen Jahr. Mrinank Sharma, der die Sicherheitsforschung bei Anthropic leitete, trat im Februar 2026 mit einem Abschiedsbrief zurück, in dem es hieß, „die Welt sei in Gefahr“. Unabhängig davon hat OpenAI-Chefwissenschaftler Jakub Pachocki Essays veröffentlicht, in denen er einräumt, dass KI-Labore die menschliche Kontrolle über ihre fortschrittlichsten Modelle noch nicht zuverlässig garantieren können, obwohl die Entwicklung weitergeht.

Zusammengenommen deuten diese Vorfälle auf eine wachsende Kluft zwischen dem Tempo der kommerziellen KI-Entwicklung und dem Vertrauen der Forscher hin, die für die Sicherheit dieser Entwicklung verantwortlich sind – eine Spannung, die wahrscheinlich immer wieder aufkommen wird, während führende Labore auf autonomere und leistungsfähigere Systeme hinarbeiten.

Wie es weitergeht

Coxon erklärte, er ziehe sich vollständig aus der KI-Forschung zurück, anstatt einem anderen Labor beizutreten. Er versteht seinen Abschied als Appell für eine branchenweite Reflexion und nicht als Versuch, die Roadmap eines bestimmten Unternehmens zu beeinflussen. Ob seine Warnung zu politischen Änderungen bei Anthropic, OpenAI oder anderswo führt, bleibt abzuwarten. Doch die öffentliche Zustimmung aktiver Anthropic-Mitarbeiter legt nahe, dass die Debatte über die Sicherheit sich selbst verbessernder KI nun offen geführt wird, anstatt auf interne Diskussionen beschränkt zu bleiben.