OpenAI의 새로운 '순환 깊이' 기법, 사고 과정 모니터링 우려 제기
뉴스 요약
OpenAI의 차세대 모델로 코드명 Astra라고 알려진 모델이 '순환 깊이'라는 추론 기법에 의존한다는 보도가 나온 후 AI 안전 연구자들로부터 강한 비판을 받고 있습니다. 이 기법은 고급 AI 시스템을 모니터링하는 표준 도구로 자리 잡은 완전한 순차적이고 사람이 읽을 수 있는 사고 과정을 생성하는 대신, 내부 연산 레이어를 반복적으로 재사용합니다. 2026년 9월 2일 오전(미국 동부 시간) The Information이 처음 상세히 보도하고 이후 TechCrunch 등 다른 매체들이 확인한 이 보도들은, 해당 접근 방식이 지금까지 주요 추론 모델들이 작동해 온 방식에서 의미 있게 벗어난 것이라고 설명하며, 안전 연구자들은 이로 인해 모델이 의도하지 않았거나 기만적인 방식으로 행동할 때 이를 감지하기가 훨씬 더 어려워질 수 있다고 지적합니다.
순환 깊이란 무엇인가
때로는 '불투명한 순환'이라 불리거나 '루프형 트랜스포머' 아키텍처로 설명되는 순환 깊이는, 모델이 선형적인 추론 단계를 따라 엄격하게 앞으로 나아가는 대신 공유된 핵심 내부 레이어 집합을 통해 동일한 쿼리를 여러 번 재처리할 수 있게 합니다. 지지자들은 이 기법이 추가 파라미터나 메모리 없이도 모델의 성능과 연산 효율성을 향상시킬 수 있다고 말합니다. 추론 깊이를 확보하기 위해 점점 더 큰 고유 레이어 스택이 필요한 것이 아니라 동일한 레이어를 반복적으로 재사용하기 때문입니다.
초기 기술 세부 사항을 검토한 연구자들에 따르면, 그 대가는 이러한 반복적인 내부 처리의 상당 부분이 읽을 수 있는 텍스트로 외부화되지 않고 모델의 은닉 상태 내에서 이루어진다는 점입니다. OpenAI의 초기 'o-시리즈' 시스템을 포함한 전통적인 추론 모델은 사고 과정을 생성합니다. 즉, 최종 답변을 내놓기 전에 모델이 문제를 어떻게 해결하는지를 단계별로 기록한 추적 내역입니다. 완벽하지는 않지만, 이 추적 내역은 연구자들이 모델의 의사결정 과정을 들여다보고 사용자 응답에 나타나기 전에 정렬 오류, 기만 또는 안전하지 않은 추론의 징후를 표시할 수 있는 방법을 제공해 왔습니다.
안전 연구자들이 우려하는 이유
핵심적인 우려는 반드시 Astra의 현재 행동에 관한 것은 아닙니다. 여러 보도에 따르면 현재까지 이 기법의 사용은 제한적이며 사고 과정도 대체로 판독 가능한 것으로 보이기 때문입니다. 대신 연구자들은 향후 모델에서 이 기법이 더 적극적으로 채택될 경우 어떤 결과로 이어질 수 있는지에 대해 경계하고 있습니다.
AI 안전 연구 기관인 Redwood Research의 CEO Buck Shlegeris는 OpenAI가 순환 깊이의 사용을 확대한다면 회사가 '순환을 대폭 증가시킬' 선택권을 갖게 될 것이며, 이는 '사고 과정 모니터링 가능성을 완전히 파괴한다'고 경고했습니다. Redwood의 수석 과학자인 Ryan Greenblatt도 이에 동의하며, 불투명한 추론 기법이 결국 모델이 외부에서 관찰 가능한 형태가 아닌 거의 전적으로 은닉된 내부 채널 내에서 추론하는 수준까지 확장될 수 있다고 우려했습니다.
AI 평론가 Zvi Mowshowitz는 이러한 변화를 '불장난'이라고 표현하며, 충실하고 모니터링 가능한 사고 과정을 유지하는 것은 업계 규범에 가까운 것으로 취급되어 왔고 OpenAI와 Anthropic 모두 이전에 이를 지키기 위해 노력한다고 밝힌 바 있다고 주장했습니다. 그는 연구소들이 명확한 안전장치 없이 그 규범에서 벗어나기 시작한다면, 모델의 역량이 강화됨에 따라 모니터링 가능성을 보존하기 위해 결국 규제가 필요해질 수 있다고 제안했습니다.
독립 AI 연구자인 Gary Marcus는 한 걸음 더 나아가, 이번 진전이 자신이 말하는 AI 안전 '레드라인'을 넘는 것이라고 설명하는 글을 발표했습니다. 그는 사고 과정 모니터링을 그렇지 않으면 불투명한 대규모 언어 모델의 내부 작동을 관찰할 수 있는 몇 안 되는 신뢰할 수 있는 도구 중 하나로 규정했으며, 점진적이라 하더라도 이를 약화시키는 것은 이 분야가 의존하게 된 안전장치를 제거하는 것이라고 주장했습니다.
OpenAI의 대응
OpenAI의 수석 과학자인 Jakub Pachocki는 이 기법이 회사의 안전 약속에서 완전히 벗어났다는 평가에 반박했습니다. 그는 Astra의 실질적인 연산 깊이가 GPT-4 시대 모델의 수준에 머물러 있다고 언급하며, OpenAI가 모델이 결론에 도달하는 방식에 대한 안전 통찰력의 원천으로서 사고 과정 모니터링을 계속 우선시하고 있다고 말했습니다. Pachocki의 발언은 OpenAI의 관점에서 현재의 순환 깊이 구현이 감독으로부터 모델 추론을 숨기려는 시도가 아니라 목표가 명확한 효율성 개선임을 시사합니다.
그러나 이러한 설명이 외부 연구자들을 완전히 만족시키지는 못했습니다. 그들은 이 기법의 제한적이거나 실험적인 사용조차도 선례를 남긴다고 지적합니다. 이들의 우려는 오늘날 존재하는 Astra 자체보다 그것이 만들어내는 인센티브 구조에 더 맞춰져 있습니다. 순환 깊이가 성능을 개선하고 연산 비용을 낮추는 데 효과적임이 입증된다면, 경쟁 압력으로 인해 OpenAI나 다른 연구소들이 투명성을 희생하면서까지 향후 모델에서 그 사용을 확대하도록 밀어붙일 수 있기 때문입니다.
AI 감독의 더 넓은 맥락
사고 과정 모니터링은 해석 가능성 연구 및 레드팀 활동과 함께, 대규모 추론 모델의 행동을 이해하고 감사하려는 연구자들이 활용할 수 있는 가장 실용적인 도구 중 하나로 지난 몇 년간 부상했습니다. 이러한 모델은 방대한 데이터셋으로 학습되며 심지어 개발자조차 완전히 이해하지 못하는 과정을 통해 답변을 도출하기 때문에, 판독 가능한 추론 추적 내역은 완벽하지는 않더라도 시스템이 결론에 도달하는 방식을 엿볼 수 있는 드문 창구 역할을 해왔습니다.
Redwood Research와 독립 평론가들을 포함한 여러 기관의 안전 연구자들은 이전에 프론티어 AI 연구소들에게 성능 향상을 위해 사고 과정을 포기하지 말고, 모델의 역량이 커짐에 따라 사고 과정의 충실도를 보존하고 강화할 것을 촉구한 바 있습니다. Astra의 순환 깊이 기법을 둘러싼 논쟁은 더 빠르고 저렴하며 강력한 모델을 구축하려는 추진력과 그러한 모델의 추론 과정을 검증 가능하게 개방하려는 열망 사이의, 이 분야 전반에 걸친 더 넓은 긴장을 반영합니다. OpenAI와 경쟁사들이 향후 모델 출시에서 이러한 긴장을 어떻게 헤쳐 나갈지는 AI 안전과 거버넌스에 집중하는 연구자들 사이에서 계속해서 면밀히 주시되는 사안이 될 것입니다.