Nvidia의 하니스, Claude Opus 5의 ARC-AGI-3 점수를 30%에서 100%로 끌어올려

뉴스 요약

2026년 8월 21일, Nvidia는 AI 에이전트 성능 향상의 가장 큰 원동력이 이제 모델 자체가 아닌 모델을 감싸는 소프트웨어 계층에서 나오고 있다는 연구 결과를 발표했습니다. Nvidia는 이러한 래퍼를 '하니스'라고 부릅니다. 이는 오케스트레이션 코드, 메모리 시스템, 도구 접근 권한, 그리고 원시 언어 모델을 장시간 자율적으로 작동할 수 있는 에이전트로 전환시키는 감독 논리를 포함합니다.

핵심 주장: 성능을 좌우하는 것은 모델이 아닌 하니스

Nvidia의 에이전트 AI 제품 담당 부사장 Adel El Hallak은 업계가 에이전트를 잘못된 방식으로 생각해 왔으며, 에이전트를 여러 상호작용 부품으로 구성된 시스템이 아니라 '거의 모델의 API'처럼 취급해 왔다고 지적했습니다. Nvidia의 관점에서 에이전트는 모델과 이를 둘러싼 스캐폴딩, 즉 하니스의 결합체입니다. 여기에는 모델이 호출할 수 있는 도구, 메모리가 저장되고 검색되는 방식, 행동을 제약하는 규칙, 그리고 길고 다단계적인 작업 중에 모델이 궤도를 이탈하지 않도록 방지하는 검증 장치가 포함됩니다.

이를 구체적으로 입증하기 위해 Nvidia 연구진은 Anthropic의 Claude Opus 5를 비영리 단체인 ARC Prize Foundation의 벤치마크인 ARC-AGI-3에서 실행했습니다. 이 벤치마크는 AI 에이전트를 지시나 명시된 목표가 없는 생소한 게임 같은 환경에 배치합니다. 에이전트는 여러 턴에 걸쳐 순수한 시행착오와 관찰을 통해 환경을 탐색하고 규칙에 대한 작동 모델을 형성하며 목표를 완료해야 하므로, 이는 단순 일회성 질문 응답이 아닌 계획 수립 및 기억 능력을 엄격하게 테스트하는 지표가 됩니다.

30%에서 100%로: AVO 실험

기본 설정만으로 실행했을 때 Claude Opus 5는 ARC-AGI-3 공개 레벨의 약 30%를 완료했습니다. 이후 Nvidia는 동일한 모델을 자사의 하니스 프레임워크인 Agentic Variation Operators(AVO)로 감쌌습니다. 여기에는 턴 간 지속되는 메모리와 Nvidia가 CEO처럼 기능한다고 설명하는 '감독자' 구성 요소가 추가되었습니다. 이 감독자는 에이전트의 진행 상황을 검토하고 막다른 길을 파악하여 불필요한 행동을 낭비하기 전에 전략을 재조정합니다. 기본 모델의 다른 변경 사항 없이 AVO만 적용한 상태에서, 시스템은 벤치마크의 25개 공개 환경에 있는 183개 레벨을 모두 완료했습니다. 그 결과 ARC-AGI-3의 상대적 인간 행동 효율성(RHAE) 지표에서 만점인 100.00점을 기록했으며, 해당 리더보드에서 이전 최고 성능을 보였던 VISTA라는 하니스 시스템보다 환경 내 행동을 약 12% 적게 사용하고도 이를 달성했습니다.

Nvidia는 2026년 3월 말 범용 코딩 에이전트 시스템으로 처음 소개된 이후 AVO를 개발해 왔으며, 이는 원래 CUDA GPU 커널 최적화를 위해 구축되었습니다. 이번 ARC-AGI-3 결과는 ARC Prize Foundation의 공식 리더보드에서 독립적으로 검증된 실행 결과가 아니라, Nvidia 팀이 벤치마크의 공개 작업 인터페이스를 직접 재구현하여 실행하고 보고한 데이터라는 점에 유의해야 합니다. 또한 공식 순위에 사용되는 벤치마크의 반공개 또는 완전 비공개 경쟁 세트가 아닌, 공개된 25개 환경만을 대상으로 합니다.

업계 전반의 뒷받침하는 증거

보도에 따르면 Nvidia의 이번 시연은 지난 몇 달간 다른 기관들로부터 나온 일련의 유사한 발견들과 맥을 같이합니다. 2026년 4월, Microsoft는 실제 문서 편집 작업에서 19개의 대규모 언어 모델을 테스트했는데, 잘 설계된 하니스 없이는 모든 모델이 오류 투성이의 결과물을 생성한다는 사실을 발견했습니다. 2026년 7월, OpenAI는 모델 자체를 변경하지 않고 모델을 둘러싼 하니스 내 두 가지 설정만 조정하여 자사 모델의 ARC-AGI-3 점수를 대략 3배로 높일 수 있다고 보고했습니다. 같은 달 Databricks는 하니스의 선택이 에이전트 작업 실행 총비용에 미치는 영향이 기본 모델의 선택보다 약 두 배 크다는 연구 결과를 발표했습니다.

Nvidia의 자체 기술 블로그는 내부적으로 NOOA라고 불리는 관련 프레임워크를 별도로 상세히 소개한 바 있습니다. 이는 엔지니어가 모델 성능을 높이기 위해 사용할 수 있는 여섯 가지 하니스 설계 기능을 제시합니다: 자유 텍스트로 전달되지 않고 유효성이 검증되는 타입 지정 입출력; 직렬화된 데이터 대신 참조를 통해 라이브 객체를 조작하도록 허용; 제어 흐름을 포함한 작성된 코드 자체를 행동으로 취급; 숨겨진 블랙박스가 아닌 일반적이고 편집 가능한 코드로 오케스트레이션 루프 구현; 대화 기록에 묻어두지 않고 에이전트 객체에 영구적이고 타입이 지정된 상태 유지; 그리고 모델 자체가 검사하고 관리할 수 있는 API로 컨텍스트 및 이벤트 히스토리 노출 등입니다. Nvidia는 이 접근 방식을 통해 SWE-bench Verified 소프트웨어 엔지니어링 벤치마크에서 82.2%의 정확도를 달성했으며, 유사 시스템 대비 작업당 모델 호출 및 토큰 사용량을 현저히 줄였다고 보고했습니다.

중요한 이유

이번 발견은 AI 업계가 자율 에이전트의 진보를 어떻게 바라봐야 하는지에 대한 틀을 바꿉니다. 모든 능력 향상을 더 새롭고, 더 크고, 더 비싼 기본 모델의 함수로만 취급하는 대신, Nvidia의 연구는 모델 위에 자리한 엔지니어링 계층—즉, 기억 방식, 감독 방식, 그리고 행동 허용 방식—이 실제 작업 완료, 특히 여러 단계에 걸쳐 전개되는 장기적 문제 해결에 있어 더 큰 지렛대가 될 수 있음을 시사합니다. AI 에이전트를 구축하는 개발자와 기업에게 이는 하니스 설계, 메모리 아키텍처, 감독 논리에 대한 투자가 최신 모델로의 업그레이드만큼이나, 혹은 그 이상의 성과를 낼 수 있음을 의미합니다.