통제 불능의 자기 개선 AI 우려로 Anthropic 연구원 사퇴

뉴스 요약

지난 3년간 OpenAI와 Anthropic에서 AI 모델을 개발해 온 한 연구원이 사퇴하며, 두 회사가 "자기 개선형 초지능을 향해 곧장 질주하며 우리의 목숨을 걸고 도박을 하고 있다"는 직설적인 경고를 발표했습니다. 2026년 9월 8일 화요일 저녁(미국 동부 시간) 소셜 미디어 게시글을 통해 발표된 이번 사퇴 소식에 대해 Anthropic의 고위 안전 담당 직원들이 그 기저에 깔린 우려를 내부에서도 공유하고 있음을 공개적으로 확인하면서, AI 연구소들이 상업적 속도와 장기적 안전성 사이의 균형을 어떻게 맞추고 있는지에 대한 논의가 다시 촉발되었습니다.

누가, 어디에서 사퇴했는가

27세의 연구원 Jacob Coxon은 처음에는 OpenAI에서, 이후에는 Anthropic에서 사전 학습 및 모델 구축 팀에서 근무했으며, 2026년 초에 Anthropic에 합류했습니다. Coxon은 사퇴 성명에서 경쟁사로 이직하는 대신 AI 업계 자체를 완전히 떠나겠다고 밝혔으며, 자신의 퇴사를 단순한 경력 변경이 아니라 최전선 AI 연구소에 남아 있는 동료들에게 보내는 의도적인 신호로 규정했습니다.

Coxon의 주장

Coxon의 핵심 주장은 자신이 근무했던 두 회사 모두 점점 더 강력해지는 자기 개선형 AI 시스템을 추구하는 과정에서 책임감 있게 행동하지 않고 있다는 것이었습니다. 그는 향후 등장할 시스템이 "모든 것을 해킹하고 어떤 분야든 하룻밤 사이에 혁신하며 실질적인 권력과 자원을 획득할 수 있는 초인적 시스템"이 될 수 있다고 썼으며, 업계가 그러한 결과에 대비한 적절한 안전장치를 갖추지 못하고 있다고 주장했습니다.

그는 두 연구소의 내부 문화를 날카롭게 대조했습니다. OpenAI에서는 직원들이 자신들이 구축하고 있는 기술이 지닌 "문명적 위험성을 깊이 내면화하지 못했다"고 말했습니다. 반면 Anthropic에서는 직원들이 위험을 상세히 이해하고 있지만, "먼저 도달하기 위한 경쟁에 갇혀" 있으며, 다른 경쟁 연구소들이 독자적으로 속도를 조절하도록 놔두었을 때만큼 신중하게 행동하지 않을 것이라는 전제하에 움직이고 있다고 지적했습니다.

Coxon은 The Wall Street Journal과의 별도 인터뷰에서 "내년 말쯤이면 상황이 이미 통제 불능 상태에 빠질 수 있는 가장 극단적인 시나리오들을 향해 나아가고 있다"고 말했습니다. 또한 핵무기 개발과 역사적 비교를 하며, "맨해튼 프로젝트가 진행되었던 사막의 벙커가 아니라 샌프란시스코에 사는 몇몇 엔지니어들의 MacBook에서 이런 일이 일어나야 한다는 것은 다소 미친 짓이다"라고 말하며, 중대한 AI 연구가 과거의 고위험 과학 프로그램처럼 전용 격리 감독 체제 아래서가 아닌 일반 상업용 사무실 안에서 진행되고 있다고 비판했습니다.

핵심 우려: 자기 개선 AI

Coxon이 제기한 구체적인 기술적 우려는 '자기 개선' AI, 즉 후속 모델의 설계나 학습에 기여할 수 있어 안전 연구나 인간의 감독 메커니즘이 따라잡을 수 있는 속도보다 빠르게 성능 향상을 가속화할 수 있는 시스템에 집중되어 있습니다. 이 진영의 연구원들은 시스템이 스스로를 개선하는 데 의미 있게 기여할 수 있게 되면 성능이 급격히 복합적으로 향상되어, 모델의 목표와 행동이 인간의 의도와 안정적으로 일치하는지 인간이 검증할 수 있는 시간적 여유가 좁아진다고 주장합니다.

Anthropic 내부의 반응

Coxon의 경고가 주목받은 또 다른 이유는 Anthropic의 자체 안전 연구원들이 이를 반박하지 않고 오히려 동의했기 때문입니다. 회사의 정렬 과학 업무를 총괄하는 Evan Hubinger는 "Jacob의 말이 맞다 — 우리는 정말로 진지하게 AI가 모든 인간을 죽일 수 있다고 믿는다! 개인적으로 향후 10년 내에 그럴 확률이 10퍼센트 이상이라고 생각한다"며 공개적으로 응답했습니다. Hubinger는 Anthropic이 아직 초지능 시스템을 안전하게 정렬하기 위한 완전한 계획을 갖추고 있지 못하다고 덧붙였습니다.

회사에서 인지 감독 연구 팀을 이끌고 있는 Samuel Marks는 지지 글을 게시하며, AI 개발자들이 대체로 자신들이 구축하는 기술이 인류 멸종 위험을 초래할 수 있다고 믿고 있음을 인정했습니다. 또한 이러한 위험에 대한 우려는 현재 시스템의 한계를 가장 잘 이해하는 고위급 연구원들 사이에서 더 높게 나타난다고 언급했습니다.

기사 작성 시점까지 Anthropic과 OpenAI 모두 Coxon의 사퇴에 직접적으로 대응하는 공식 입장을 발표하지 않았습니다.

더 넓은 맥락: 잇따르는 퇴사 행렬

Coxon의 퇴사는 지난 1년간 최전선 AI 연구소에서 잇따라 발생한 유사한 사퇴 사례들의 연장선에 있습니다. Anthropic에서 안전장치 연구를 이끌었던 Mrinank Sharma는 2026년 2월 "세계가 위기에 처했다"는 내용의 작별 편지를 남기고 사퇴했습니다. 이와 별도로 OpenAI의 수석 과학자 Jakub Pachocki는 개발이 계속 진행되는 상황에서도 AI 연구소가 자사의 가장 진보된 모델에 대한 인간의 통제를 아직 신뢰할 수 있게 보장할 수 없다는 점을 인정하는 글을 발표했습니다.

종합해 보면, 이러한 일련의 사건들은 상업적 AI 개발 속도와 그 개발을 안전하게 유지할 책임을 진 연구원들의 신뢰 수준 사이의 격차가 벌어지고 있음을 보여줍니다. 이러한 긴장은 최전선 연구소들이 더욱 자율적이고 강력한 시스템을 향해 나아감에 따라 계속해서 표면화될 가능성이 높습니다.

앞으로의 전망

Coxon은 다른 연구소에 합류하는 대신 AI 연구 자체를 완전히 중단하겠다고 밝히며, 자신의 퇴사를 특정 기업의 로드맵에 영향을 미치려는 시도가 아닌 업계 전반의 성찰을 촉구하는 호소로 위치시켰습니다. 그의 경고가 Anthropic이나 OpenAI 등에서의 정책 변화로 이어질지는 아직 알 수 없지만, 현직 Anthropic 직원들의 공개적 동의는 자기 개선 AI 안전성에 관한 논의가 이제 내부 토론에 머물지 않고 공개적으로 전개되고 있음을 시사합니다.