Anthropicの研究者、制御不能な自己改善型AIへの懸念から退職

ニュース概要

過去3年間、OpenAIとAnthropicの両社でAIモデルの開発に携わってきた研究者が退職し、両社が「自己改善型超知能へ一直線に突き進み、我々の命を賭け金にしている」と率直に警告する声明を発表した。2026年9月8日（火）夜（米国東部時間）に投稿されたSNSでの発表によるこの退職は、その根底にある懸念が社内でも共有されていることをAnthropicの安全性部門の上級スタッフらがすぐに公に認める事態を招き、AIラボが商業的な開発速度と長期的な安全性をどう天秤にかけているかについての議論を再燃させた。

誰が何を辞めたのか

27歳の研究者Jacob Coxon氏は、まずOpenAIで、その後Anthropicで事前学習およびモデル構築チームに従事し、2026年初頭に後者に入社していた。Coxon氏は退職声明の中で、競合他社へ移るのではなくAI業界から完全に身を引くと述べ、自身の退社を単なるキャリアチェンジではなく、最先端AIラボにまだ残っている同僚たちに向けた意図的なメッセージであると位置付けた。

Coxon氏の主張

Coxon氏の中心的な主張は、自身が勤務した2社のいずれも、ますます高性能化し自己改善するAIシステムの追求において責任ある行動を取っていないというものだった。同氏は、今後登場するシステムが「あらゆるものをハッキングし、一夜にしてあらゆる分野に革命をもたらし、現実の権力と資源を手に入れる超人間的なシステム」になる可能性があると記し、業界にはそのような結果に対する十分な安全対策が欠けていると主張した。

同氏は両ラボの社内文化の違いを明確に対比させた。OpenAIでは、従業員が開発している技術が持つ「文明存亡に関わる重大さ」を「深く理解していない」と述べた。一方Anthropicでは、従業員がリスクを詳細に理解しているものの、「最初に到達するための競争に縛られたまま」であり、自分たちだけがペースを決められる状況であれば取るであろう慎重さを、競合他社は決して取らないという前提のもとで動いていると指摘した。

Coxon氏はThe Wall Street Journalの個別取材に対し、「来年の終わりにはすでに事態が制御不能になっているかもしれないという、最も過激なシナリオの多くに向けて、我々は進んでしまっている」と語った。さらに核兵器開発との歴史的比較を引き合いに出し、「マンハッタン計画が行われたような砂漠の地下壕ではなく、サンフランシスコに住むエンジニアたちのMacBookの上でこれが起きなければならないというのは、一種の狂気だ」と述べ、重大な影響を持つAI研究が、過去のハイリスクな科学プログラムに見られたような専用の隔離された監督体制の下ではなく、一般的な商用オフィスの中で進められていると主張した。

核心的な懸念：自己改善型AI

Coxon氏が提起した具体的な技術的懸念の中心にあるのは「自己改善型」AI、すなわち自らの後継機の設計や学習に寄与できる能力を持ち、安全性研究や人間の監視メカニズムが追いつくよりも速く性能向上を加速させる可能性のあるシステムである。この立場を取る研究者たちは、システムが自らの改良に有意義に貢献できるようになった時点で、性能は急速に複利的に高まり、モデルの目標や行動が人間の意図と確実に整合しているかを人間が検証できる期間が狭まってしまうと主張している。

Anthropic内部からの反応

Coxon氏の警告が注目に値したのは、それがAnthropic自身の安全性研究者たちによって否定されるのではなく、むしろ裏付けられたからでもある。同社でアライメント科学研究を主導するEvan Hubinger氏は、公の場でこう応じた。「この点についてJacobは正しい。我々は本当に、心から、AIが全人類を殺す可能性があると信じている！私個人としては、今後10年以内にその確率は10％を超えていると考えている」。Hubinger氏はさらに、Anthropicには超知能システムを安全にアライメントさせるための完全な計画がまだ存在しないと付け加えた。

同社で認知監視研究チームを率いるSamuel Marks氏は、支持を示す連続投稿を行い、AI開発者全般が、自分たちが開発している技術が人類絶滅のリスクをもたらす可能性があると広く認識していると認め、こうしたリスクへの懸念は、現在のシステムの限界を最もよく理解している上級研究者の間でより高くなる傾向があると指摘した。

本稿執筆時点において、AnthropicもOpenAIもCoxon氏の退職に直接言及する公式声明は発表していない。

より広い文脈：相次ぐ退職

Coxon氏の退社は、過去1年間に最先端AIラボ全体で相次いだ同様の退職の流れの中にある。Anthropicで安全対策研究を主導していたMrinank Sharma氏は2026年2月に退職し、別れの書簡で「世界は危機に瀕している」と述べた。また、OpenAIのチーフサイエンティストであるJakub Pachocki氏は、開発が続く一方で、AIラボはまだ自社で最も先進的なモデルに対する人間の制御を確実に保証できないことを認めるエッセイを発表している。

これらを総合すると、商業的なAI開発の速度と、その開発を安全に保つ責任を負う研究者たちの信頼感との間のギャップが拡大していることが示唆される。この緊張関係は、最先端AIラボがより自律的で高性能なシステムへと突き進むにつれて、今後も表面化し続けるだろう。

今後の展開

Coxon氏は、別のラボに加わるのではなくAI研究から完全に離れると述べており、自身の退社を特定の企業のロードマップに影響を与える試みではなく、業界全体への反省を求める訴えとして位置付けている。彼の警告がAnthropicやOpenAI、あるいは他の組織における方針変更につながるかどうかはまだ分からないが、現職のAnthropicスタッフが公に同意を示したことは、自己改善型AIの安全性をめぐる議論が、もはや社内の議論にとどまらず公然と展開されていることを示唆している。