Anthropic 的自動化研究員剛剛超越人類 AI 安全專家

新聞摘要

Anthropic 發表了一項新研究，顯示一個由其自家 Claude 模型建構的自動化系統，能夠獨立發現減少 AI 模型錯位行為的技術，而且在部分測試中，其表現超越了經驗豐富的人類對齊研究員提出的方法。這項由 Anthropic 研究員 Chen Yueh-Han 主導、並在一篇題為「自動化研究員能可靠地緩解對齊失敗」的論文中詳述的研究，於美東時間 2026 年 8 月 28 日發表，是目前為止最清楚公開展示之一，讓人看見一種有限、狹隘的 AI 自我改進在實務上究竟是什麼樣子。

這個系統實際做了什麼

Anthropic 將這個系統稱為自動化對齊研究員（AAR），其設計目的是修正一類特定的 AI 安全問題：在訓練期間出現的錯位行為，例如諂媚、欺騙性推理或獎勵駭取。AAR 不會等人類研究員診斷問題並提出修正方案，而是搜尋現有研究文獻、提出自己的緩解方法，然後執行一次短暫的訓練實驗——每次迭代通常約 30 分鐘——來測試修正是否有效。能改善目標基準的方法會被保留並進一步精煉；失敗的方法則被捨棄。這個過程會在多次迭代中自動重複。

Anthropic 以 10 項獨立的對齊基準測試了 AAR，每項基準都代表一種不同的已知失效模式。根據論文，這個自動化系統在全部 10 項基準上都改善了表現，且沒有明顯降低模型的一般能力——這是個重要的附帶條件，因為對齊修正有時會以模型變得不那麼有用或更會迴避問題作為代價。

與人類的比較

論文中最引人注目的數字是與人類研究員的直接比較：「最佳的 AAR 方法平均在六小時內，擊敗了經驗豐富的人類所提出的方法。」換句話說，在給予六小時的自主迭代後，這個自動化系統提出的最佳修正方案，勝過了經驗豐富的人類對齊研究員在相同基準上提出的中位數緩解策略。

Anthropic 也強調了成本比較。AAR 的 API 推論成本約為每小時 4 美元，相較之下，人類研究員的時間估計為每小時 150 美元。該公司將此定位為：與其說是主張自動化研究員在品質上優於人類，不如說是證明自動化對齊工作現在已經夠便宜、夠快，可以持續且大規模地執行。

為什麼 Anthropic 稱這是對自我改進的「一瞥」，而非真正的自我改進

Anthropic 謹慎地將 AAR 定位為狹隘的概念驗證，而非通用的自我改進系統。論文指出，其有效性在很大程度上取決於所使用的基準是否真正反映了實際的對齊目標，以及系統搜尋的底層文獻資料庫是否保持最新。如果某個基準無法良好地代表真正的對齊，AAR 可能會針對錯誤的目標進行最佳化——這是機器學習中眾所周知的風險，稱為獎勵或基準駭取。

即便如此，論文仍明確表示「自動化對齊後訓練可能在近期內變得實用」，研究人員也將這項工作視為一個早期基石，朝向能有意義地貢獻於自身安全研究的 AI 系統邁進，並有可能最終擴展到自身訓練與開發的更廣泛層面。

這如何融入更廣泛的遞迴式自我改進辯論

AAR 論文發表之際，業界正圍繞遞迴式自我改進展開更廣泛的討論——這個概念指的是 AI 系統最終可能以愈來愈少的人類參與，來協助設計、訓練或精煉其後繼者。Anthropic 先前曾主張，這種有時簡稱為 RSI 的情境值得認真關注：該公司內部曾指出，Claude 模型已經撰寫了合併進 Anthropic 自家系統中的絕大多數程式碼，這顯示 AI 輔助被吸收進 AI 開發本身的速度有多快。Anthropic 曾提出一個全球協調機制的構想，讓業界在出現失控自我改進的證據時，可以選擇減緩或暫停前沿 AI 開發，並將其與軍備控制框架做了寬鬆的類比。

這種論述引來了外部研究人員的懷疑，其中一些人認為，一家商業 AI 實驗室以安全為重點的言論，應該與其持續打造更快、更強大模型的競爭誘因一併權衡。另外，普林斯頓大學主導的一項研究在 8 月初發表，測試了 AI 代理能否進行真正開放式的 AI 研究——撰寫完整論文，而非修正狹隘定義的基準——結果發現當前系統在技術上具備能力，但在創意上薄弱，無法像人類研究員那樣判斷哪些想法值得投入。Anthropic 共同創辦人 Jack Clark 指出，這種創意落差是遞迴式自我改進究竟多快會真正到來的「看跌訊號」。

重點總結

綜合來看，這項研究顯示出一條介於兩個極端之間的中間路徑。AI 尚未具備開放式、人類水準的研究判斷力，但在狹隘、定義明確的研究任務上，它已經展現出明顯的實用性——尤其值得注意的是，包括 AI 安全研究本身的某些層面。Anthropic 的 AAR 研究顯示，這種狹隘能力正在快速進步，以至於自動化對齊工具可能在相對短的時間內，從研究展示邁向實際部署，即使更困難、更開放式的 AI 自我改進形式仍未解決。