소형 27B AI 모델, 과학 재현 평가에서 Claude Opus 4.8 및 GPT-5.5 제쳐

뉴스 요약

전직 Google DeepMind 연구원들로 구성된 런던 소재 AI 연구소 Inherent는 2026년 8월 22일 미국 동부 시간 기준, 자사의 AI 연구 에이전트인 Faraday가 까다로운 신규 벤치마크에서 Anthropic과 OpenAI의 최첨단 대규모 시스템을 능가했다고 발표했습니다. 이 벤치마크는 사전에 정답을 제공받지 않고 발표된 과학 논문의 결과를 독립적으로 재현하는 과제입니다. 이번 성과가 주목받는 이유는 단순한 승리가 아니라 그 배경에 있는 모델 크기 격차 때문입니다. Faraday는 비교적 작은 270억 파라미터 모델로 구동되는 반면, 이를 제친 Claude Opus 4.8과 GPT-5.5는 훨씬 더 큰 범용 최첨단 모델이기 때문입니다.

Inherent란 누구인가

Inherent는 2026년 5월 5천만 달러 규모의 시드 투자를 유치하며 세상에 모습을 드러냈습니다. 이 회사는 네 명의 공동 창업자에 의해 설립되었으며, 그중 세 명은 이전에 Google DeepMind에서 근무했습니다. 최고 과학자 역할을 맡은 Edward Hughes를 비롯해 Louis Kirsch, Kaloyan Aleksiev, 그리고 Tantum Collins가 주인공입니다. 런던 킹스크로스 지역에 기반을 둔 이 팀은 현재 약 12명의 직원을 두고 있으며, 연말까지 20~25명 규모로 인력을 늘릴 계획입니다. 자체 코딩 도구를 처음부터 구축하는 대신, Inherent는 OpenAI의 GPT-5.5 Codex를 활용해 기초적인 코딩 작업을 처리하고 있으며, 연구 역량은 창업자들이 보기에 더 좁지만 중요한 문제에 집중하고 있습니다.

핵심 아이디어: '연구 감각' 가르치기

Hughes는 회사의 핵심 전략을 AI 시스템에 '연구 감각'을 가르치는 것이라고 설명했습니다. 이는 어떤 실험을 수행할 가치가 있는지, 어떻게 잘 설계할 수 있는지, 그리고 결과가 신뢰할 만한지 판단하는 본능을 의미합니다. Inherent의 관점에서, 기존의 대부분의 AI 코딩 에이전트는 명확하게 지정된 지시를 실행하는 데는 능숙하지만, 실행 전후에 필요한 판단, 즉 가설 수립, 우선 테스트 대상 선정, 결과의 타당성 평가 등에는 취약합니다. 회사에 따르면 Faraday는 이러한 격차를 해소하기 위해 구축되었습니다. Faraday는 기계적인 코딩 작업을 별도의 코딩 모델에 위임하고 자신은 더 높은 수준의 과학적 추론에 집중하는 '감독관' 역할을 수행합니다.

Faraday 테스트 방법: Replica 벤치마크

이 아이디어를 평가하기 위해 Inherent는 Replica라는 새로운 벤치마크를 구축했습니다. 이 벤치마크는 자연어 처리, 재료 과학, 날씨 예측 등의 분야를 아우르는 100편의 머신러닝 및 과학 분야 AI 논문에서 발췌한 310개의 과제로 구성되어 있습니다. 각 과제는 발표된 논문에서 결과 그림 하나를 제거한 뒤, 에이전트에게 원본 그래프에 접근하지 못하고 제한된 시간과 컴퓨팅 자원 내에서 실제 실험을 수행해 해당 결과를 재현하도록 요구합니다. 연구 논문은 일반적으로 성공한 결과만 기술하고 실패한 시도나 누락된 하이퍼파라미터, 전처리 과정 등은 생략하기 때문에, 이 벤치마크는 에이전트가 최종 논문에 포함되지 않는, Inherent 팀이 말하는 '99%의 땀방울'을 복원할 수 있는지 테스트하도록 설계되었습니다.

Faraday는 242개의 재현 과제로 학습된 후, 학습 중 접하지 않았던 68개의 홀드아웃 과제로 평가되었습니다. 해당 홀드아웃 세트에서 Faraday는 0.791점을 기록하여 0.748점의 Claude Opus 4.8과 0.729점의 GPT-5.5를 앞섰으며, 개별 과제의 60%에서 압도적인 승리를 거두었습니다. Inherent는 Faraday가 Replica 스위트의 모든 카테고리에서 두 대형 모델보다 더 충실한 재현 결과를 산출했다고 보고했으며, 특히 메타 러닝, 구조 생물학, 재료 과학 과제에서 가장 큰 점수 차이를 보였습니다.

학습 접근 방식

Faraday는 장기간 강화 학습을 사용하여 훈련되었으며, 범용 코딩 에이전트를 대체 구성 요소가 아닌 자신이 지시하는 도구로 활용했습니다. 학습의 안정성을 유지하기 위해 Inherent 연구진은 결과 채점을 AI 판사에만 의존하는 대신 과제별 채점 기준표를 사용했습니다. 기준표 기반 채점이 더 일관되고 노이즈가 적은 보상 신호를 생성했기 때문입니다. 또한 팀은 학습 중에 여러 샘플을 집계하고 턴 수준 크레딧 할당을 적용하여, 모델이 단일 최종 결과뿐만 아니라 긴 행동 시퀀스에서도 학습할 수 있도록 했습니다. 주목할 점은 Inherent에 따르면 Faraday가 이전의 소형 코딩 모델인 GPT-5.4-mini를 지시하며 학습되었음에도 불구하고, 추가 재학습 없이 테스트 시점에 더 강력한 GPT-5.5 Codex를 지시하는 것으로 일반화 능력을 보여주었다는 것입니다. 회사는 이를 통해 가르치고 있는 '감독관' 기술이 사용 가능한 기본 코딩 도구로부터 어느 정도 독립적임을 증명한다고 주장합니다.

맥락과 시사점

Inherent는 Replica 벤치마크와 이에 대한 Faraday의 성과를 자사의 더 큰 야망, 즉 단순히 코딩 작업을 자동화하는 것이 아니라 과학적 발견을 의미 있게 가속화할 수 있는 AI 시스템을 구축하겠다는 목표의 초기 증거로 제시했습니다. 이러한 방향을 추구하는 곳은 Inherent만이 아닙니다. AI 연구 프로세스 자체의 일부를 자동화하는 것은 실험 설계, 실행, 평가의 얼마나 많은 부분을 AI 시스템에 맡길 수 있을지 탐구하는 업계 전반의 활발한 관심사가 되었습니다. Inherent의 구체적인 기여는 간단한 지시로 명시하기 가장 어려운 연구의 판단 집약적 부분에 맞춘 벤치마크와 학습 레시피이며, 더 작고 특화된 모델이 해당 특정 기술에서 훨씬 더 큰 범용 시스템과 대등하거나 이를 능가할 수 있음을 시사하는 초기 결과를 제시했다는 점입니다.