Anthropicの自動リサーチャーが人間のAI安全性専門家を上回る

ニュース概要

Anthropicは、自社のClaudeモデルから構築した自動システムが、AIモデルの不整合な行動を低減する手法を自律的に発見でき、一部のテストでは経験豊富な人間のアライメント研究者が提案した手法を上回ったとする新たな研究を発表した。AnthropicフェローのChen Yueh-Hanが主導し、「Automated Researchers Can Reliably Mitigate Alignment Failures」と題された論文に詳述されたこの研究は、米国東部時間2026年8月28日に公開され、限定的で狭義のAI自己改善が実際にどのようなものかを示す、これまでで最も明確な公開デモの一つとなっている。

このシステムが実際に行うこと

Anthropicが自動アライメントリサーチャー（AAR）と呼ぶこのシステムは、AI安全性問題の特定のカテゴリ、すなわち訓練中に現れるへつらい、欺瞞的推論、報酬ハッキングといった不整合な行動を修正するために設計されている。人間の研究者が問題を診断して修正策を提案するのを待つのではなく、AARは既存の研究文献を検索し、独自の緩和手法を提案し、その修正が機能するかどうかをテストするために短い訓練実験（通常1回あたり約30分）を実行する。対象ベンチマークを改善する手法は保持され、さらに洗練される。失敗した手法は破棄される。このプロセスは多数の反復にわたって自動的に繰り返される。

AnthropicはAARを10個の個別のアライメントベンチマークに対してテストした。それぞれが異なる既知の失敗モードを表している。論文によると、自動システムはモデルの一般的な能力を測定可能なほど低下させることなく、10個すべてのベンチマークで性能を改善した。これは重要な留保事項である。アライメント修正は、モデルの有用性が低下したり、より回避的になったりするという代償を伴うことがあるためだ。

人間との比較

論文の主要な数字は、人間の研究者との直接比較である。「最良のAAR手法は、経験豊富な人間が提案するものを、平均して6時間以内に上回る」。言い換えれば、6時間の自律的な反復を与えられた場合、自動システムが提案した最良の修正策は、同じベンチマークに取り組む経験豊富な人間のアライメント研究者が提案した緩和戦略の中央値を上回った。

Anthropicはコスト比較も強調した。AARはAPI推論コストで時給約4ドルで稼働するのに対し、人間の研究者の時間は推定時給150ドルである。同社はこれを、自動リサーチャーが人間より質的に優れているという主張というよりも、自動アライメント作業が継続的かつ大規模に実行できるほど安価で高速になったことの証拠として位置づけている。

Anthropicがこれを自己改善の「のぞき見」であって本物ではないと呼ぶ理由

Anthropicは、AARを汎用的な自己改善システムではなく、狭義の概念実証として慎重に位置づけている。論文は、その有効性が、使用されるベンチマークが実際のアライメント目標をどれだけ正確に反映しているか、そしてシステムが検索する基盤となる文献データベースを最新に保つことに大きく依存すると指摘している。ベンチマークが真のアライメントの不十分な代理指標である場合、AARは誤った対象に対して最適化する可能性がある。これは機械学習において報酬ハッキングまたはベンチマークハッキングとして知られるよく知られたリスクである。

それでも論文は、「自動アライメントのポストトレーニングは近い将来に実用的になる可能性がある」と明言しており、研究者たちはこの研究を、AIシステムが自らの安全性研究に有意義に貢献でき、潜在的には最終的に自らの訓練と開発のより広範な側面にも貢献できるようになるための初期の構成要素と見なしている。

これがより広範な再帰的自己改善の議論にどう位置づくか

AARの論文は、再帰的自己改善、すなわちAIシステムが最終的に人間の関与をますます減らしながら後継システムの設計、訓練、改良を支援できるようになるという考え方をめぐる、業界全体でのより広範な議論の中で発表された。Anthropicは以前から、RSIと略されることもあるこのシナリオが真剣な注目に値すると主張してきた。同社は内部的に、ClaudeモデルがすでにAnthropic自身のシステムにマージされるコードの大部分を書いていると指摘しており、これはAI支援がAI開発そのものにいかに急速に吸収されてきたかを示す兆候である。Anthropicは、暴走的な自己改善の証拠が現れた場合に業界が最先端AI開発を減速または一時停止する選択肢を持てるようにする世界的な調整メカニズムのアイデアを提起しており、軍備管理の枠組みとの大まかな比較を引き合いに出している。

この枠組みは外部の研究者から懐疑的な見方を招いており、商業AIラボによる安全性重視のレトリックは、より高速でより高性能なモデルを構築し続けるという競争上のインセンティブと比較検討されるべきだと主張する者もいる。別の話として、8月初めに発表されたプリンストン大学主導の研究では、AIエージェントが真にオープンエンドなAI研究、すなわち狭く定義されたベンチマークの修正ではなく完全な論文の執筆を行えるかどうかをテストし、現在のシステムは技術的には可能だが創造性に乏しく、人間の研究者のようにどのアイデアを追求する価値があるかを判断できないことがわかった。Anthropicの共同創業者Jack Clarkは、この種の創造性のギャップを、完全な再帰的自己改善が実際にいつ到来するかについての「弱気のシグナル」として指摘している。

要点

総合すると、この研究は2つの極端の間の中間的な道を示唆している。AIはまだオープンエンドで人間レベルの研究的判断力は持っていないが、狭く明確に定義された研究タスクにおいては明らかに有用になっている。特筆すべきことに、AI安全性研究そのものの一部の側面も含まれる。AnthropicのAARの研究は、この狭義の能力が十分に速く進歩しており、より困難でよりオープンエンドなAI自己改善の形態が未解決のままである一方で、自動アライメントツールが研究デモから実用的な展開へと比較的短期間で移行できる可能性があることを示している。