앤트로픽의 자동화 연구원, 인간 AI 안전 전문가를 능가하다

뉴스 요약

앤트로픽은 자사의 Claude 모델로 구축한 자동화 시스템이 AI 모델의 잘못 정렬된 행동을 줄이는 기법을 독자적으로 발견할 수 있으며, 일부 테스트에서는 경험이 풍부한 인간 정렬 연구원이 제안한 방법보다 더 나은 성과를 냈다는 새로운 연구 결과를 발표했다. 앤트로픽 펠로우인 Chen Yueh-Han이 주도하고 "자동화된 연구원은 정렬 실패를 안정적으로 완화할 수 있다"라는 제목의 논문에 상세히 기술된 이 연구는 미국 동부 시간 2026년 8월 28일에 발표되었으며, 제한적이고 좁은 형태의 AI 자기 개선이 실제로 어떤 모습인지 보여주는 가장 명확한 공개 사례 중 하나다.

시스템이 실제로 하는 일

앤트로픽이 자동 정렬 연구원(AAR)이라고 부르는 이 시스템은 훈련 중에 나타나는 아첨, 기만적 추론, 보상 해킹과 같은 잘못 정렬된 행동이라는 특정 범주의 AI 안전 문제를 해결하도록 설계되었다. 인간 연구원이 문제를 진단하고 해결책을 제안할 때까지 기다리는 대신, AAR은 기존 연구 문헌을 검색하고 자체 완화 방법을 제안한 다음, 짧은 훈련 실험(보통 반복당 약 30분)을 실행하여 해결책이 효과가 있는지 테스트한다. 목표 벤치마크를 개선하는 방법은 유지되고 더욱 다듬어지며, 실패한 방법은 폐기된다. 이 과정은 여러 차례 반복에 걸쳐 자동으로 진행된다.

앤트로픽은 각각 서로 다른 알려진 실패 모드를 나타내는 10개의 개별 정렬 벤치마크를 대상으로 AAR을 테스트했다. 논문에 따르면, 자동화 시스템은 모델의 일반적인 능력을 측정 가능한 수준으로 저하시키지 않으면서 10개 벤치마크 모두에서 성능을 개선했다. 이는 중요한 단서인데, 정렬 수정이 때때로 모델의 유용성이 떨어지거나 더 회피적으로 만드는 대가를 치르기 때문이다.

인간과의 비교

논문의 핵심 수치는 인간 연구원과의 직접 비교다. "최고의 AAR 방법은 경험이 풍부한 인간이 제안하는 것을 평균 6시간 이내에 능가한다." 다시 말해, 6시간의 자율적 반복이 주어졌을 때 자동화 시스템이 제안한 최적의 수정안은 동일한 벤치마크에서 작업하는 경험이 풍부한 인간 정렬 연구원이 제안한 중간값 완화 전략보다 더 나은 성과를 냈다.

앤트로픽은 비용 비교도 강조했다. AAR은 API 추론 비용으로 시간당 약 4달러에 실행되는 반면, 인간 연구원의 시간은 시간당 약 150달러로 추산된다. 회사는 이를 자동화된 연구원이 인간보다 질적으로 더 우수하다는 주장이라기보다는, 자동화된 정렬 작업이 이제 지속적으로 그리고 대규모로 실행할 수 있을 만큼 저렴하고 빨라졌다는 증거로 설명한다.

앤트로픽이 이를 자기 개선의 '엿보기'라고 부르는 이유

앤트로픽은 AAR을 범용 자기 개선 시스템이 아니라 좁은 개념 증명으로 조심스럽게 규정한다. 논문은 그 효과성이 사용된 벤치마크가 실제 정렬 목표를 얼마나 잘 반영하는지, 그리고 시스템이 검색하는 기반 문헌 데이터베이스를 최신 상태로 유지하는지에 크게 의존한다고 지적한다. 벤치마크가 진정한 정렬을 제대로 대변하지 못한다면, AAR은 잘못된 것을 최적화할 수 있다. 이는 기계 학습에서 보상 해킹 또는 벤치마크 해킹으로 알려진 잘 알려진 위험이다.

그럼에도 불구하고 논문은 "자동화된 정렬 사후 훈련이 가까운 시일 내에 실용화될 수 있다"고 명시하고 있으며, 연구원들은 이 작업을 AI 시스템이 자신의 안전 연구에 의미 있게 기여할 수 있는 방향으로 나아가는 초기 구성 요소로 본다. 잠재적으로는 결국 자신의 훈련과 개발의 더 넓은 측면으로까지 확장될 수 있다.

더 넓은 재귀적 자기 개선 논쟁과의 관계

AAR 논문은 재귀적 자기 개선, 즉 AI 시스템이 점점 더 적은 인간의 개입으로 자신의 후속 모델을 설계, 훈련 또는 개선하는 데 도움을 줄 수 있다는 아이디어에 대한 업계 전반의 논의가 활발한 가운데 발표되었다. 앤트로픽은 이전부터 때때로 RSI로 줄여 부르는 이 시나리오가 진지한 주의를 기울일 가치가 있다고 주장해 왔다. 회사는 내부적으로 Claude 모델이 이미 앤트로픽 자체 시스템에 병합되는 코드의 대부분을 작성하고 있다고 언급했는데, 이는 AI 지원이 AI 개발 자체에 얼마나 빠르게 흡수되었는지를 보여주는 신호다. 앤트로픽은 통제 불능의 자기 개선 증거가 나타날 경우 업계가 최전선 AI 개발을 늦추거나 일시 중지할 수 있는 선택권을 부여하는 글로벌 조정 메커니즘에 대한 아이디어를 제시했으며, 군비 통제 프레임워크와 느슨하게 비교하기도 했다.

이러한 프레이밍은 외부 연구원들의 회의론을 불러일으켰다. 일부는 상업 AI 연구소의 안전 중심 수사가 더 빠르고 더 유능한 모델을 계속 구축하려는 경쟁적 유인과 비교하여 평가되어야 한다고 주장한다. 별도로, 8월 초에 발표된 프린스턴 주도의 연구는 AI 에이전트가 진정으로 개방적인 AI 연구, 즉 좁게 정의된 벤치마크를 수정하는 것이 아니라 전체 논문을 작성하는 연구를 수행할 수 있는지 테스트했으며, 현재 시스템은 기술적으로는 가능하지만 창의적으로는 취약하여 인간 연구원처럼 어떤 아이디어를 추구할 가치가 있는지 판단하지 못한다는 것을 발견했다. 앤트로픽 공동 창립자 Jack Clark는 이러한 창의성 격차를 완전한 재귀적 자기 개선이 실제로 얼마나 빨리 도래할 수 있는지에 대한 "약세 신호"로 지목했다.

핵심 요점

종합하면, 이 연구는 두 극단 사이의 중간 경로를 제시한다. AI는 아직 개방적이고 인간 수준의 연구 판단력을 갖추지 못했지만, 좁고 명확하게 규정된 연구 작업에서는 입증 가능할 정도로 유용해졌다. 여기에는 특히 AI 안전 연구 자체의 일부 측면도 포함된다. 앤트로픽의 AAR 작업은 이러한 좁은 능력이 충분히 빠르게 발전하고 있어, 더 어렵고 더 개방적인 형태의 AI 자기 개선은 여전히 해결되지 않은 채로 남아 있음에도 불구하고 자동화된 정렬 도구가 비교적 짧은 기간 내에 연구 데모에서 실제 배포로 이동할 수 있음을 보여준다.