테이블 위에서 전신까지: Gemini Robotics 2가 실제로 바꾸는 것

칼럼 개요

7월 30일, Google DeepMind는 최신 세대인 Gemini Robotics를 발표했습니다. 이 소식을 전하는 가장 쉬운 방법은 "이제 Google의 로봇이 온몸을 사용할 수 있다"고 쓰는 것입니다. 사실이지만, 이 발표에 대해 쓸 수 있는 문장 중 가장 흥미롭지 않은 말이기도 합니다. 더 유용한 질문은 왜 이전 세대의 범용 로봇 모델(Google의 모델 포함)은 상반신에서 멈추었는지, 그 한계를 넘기 위해 내부적으로 실제로 무엇이 바뀌어야 했는지입니다. 그 해답은 더 큰 모델이 아닙니다. 로봇이 하나의 일관된 존재로 행동하기 위해 몇 개의 모델이 필요한지에 대한 다른 이론입니다.

테이블 위 한계는 야망의 문제가 아니었다

초기 Gemini Robotics 릴리스는 조작에 매우 능숙했습니다. 물건을 집어 들어 올리고, 회전시키고, 정확한 위치에 놓으며, 물건이 미끄러지면 즉시 그립을 조정했습니다. 하지만 이들이 구축되지 않은 영역은 물건에 손을 뻗기 전에 왼쪽으로 세 걸음 옮길지 아니면 쪼그려 앉을지 같은 순간에 결정하는 일이었습니다. 이동과 조작은 사실상 하나의 로봇을 둘러싼 두 가지 다른 문제였습니다. 이는 Google의 상상력 부족이 아니라, 테이블 위 시연 데이터로 정책을 훈련할 때 발생하는 결과입니다. 로봇 팔은 고정된 베이스 앞의 제한된 공간에서 비상하게 능숙해집니다. 팔이 섬세한 작업을 수행하는 동시에 균형과 발의 위치, 무게 중심까지 관리하라고 요구하면, 훈련 데이터에 없던 협동 문제를 떠맡기는 셈이 됩니다.

전신 협동이 단순한 결합으로 해결되지 않는 이유

직관적인 가정에 따르면, 걷는 모델과 잡는 모델이 있다면 이 둘을 결합하는 것은 대부분 엔지니어링 작업에 불과합니다. 하지만 그렇지 않습니다. 걷기와 잡기는 로봇의 무게가 어디에 쏠려 있는지, 넘어지기 전에 어느 정도 여유가 있는지라는 동일한 자원을 두고 경쟁하기 때문입니다. 낮은 선반에 손을 뻗는 휴머노이드는 무릎을 굽히고 엉덩이를 뒤로 빼며 손이 목표물을 오버슈트하지 않도록 몸통을 충분히 안정시켜야 합니다. 이 모든 것은 집어 드는 물건이 로봇이 유지하려는 무게 분배를 실시간으로 바꾸고 있는 상황에서 일어납니다. 이는 병렬로 실행되는 두 가지 기술이 아니라, 초당 수십 번씩 갱신되는 두 기술 간의 연속적인 협상입니다. 걷고, 쪼그리고, 뻗고, 조작하는 모든 움직임을 조화롭게 추론한다는 Google 자체의 "전신 지능" 설명은, 사실 탐색 스택과 조작 스택을 단순히 이어 붙이던 과거의 방식으로는 결코 도달할 수 없었음을 인정하는 것입니다. 전체 과정을 하나의 결정으로 처리하는 무언가가 필요하지, 서로가 무엇을 하는지 모르는 두 시스템 간의 인계로는 안 됩니다.

세 가지 모델이 진짜 설계 방침이다

시연 영상보다 더 많은 것을 시사하는 것은 Google이 이 문제를 해결하기 위해 더 큰 단일 모델을 내놓지 않았다는 점입니다. 대신 각각이 다른 모델이 구조적으로 할 수 없는 일을 수행하는 세 가지 모델을 출시했습니다. Gemini Robotics 2는 로봇이 보고 듣는 것을 발끝부터 손끝까지 실제 모터 명령으로 바꾸는 비전-언어-행동 모델입니다. 이 계층은 하드웨어와 가깝게 빠르게 실행되어야 합니다. Gemini Robotics ER 2는 그 위에 위치한 체화 추론 계층으로, 수분 이상 소요되는 다단계 작업을 계획하고 개별 로봇 간의 인계를 조정하며, 특히 주변 인간 감지 능력이 향상되어 기능 향상처럼 포장된 안전 기능을 제공합니다. 그리고 네트워크 연결 없이 실행되도록 설계된 압축 버전인 Gemini Robotics On-Device 2가 있습니다. 이 모델에는 가장 놀라운 수치가 따라붙습니다. 200개 미만의 예제만으로 새로운 양팔 로봇 몸체에 몇 시간 만에 적응할 수 있습니다.

스택 관점에서 보면, 이는 단일 모델이 빠른 반사신경, 장기 계획자, 오프라인 가능한 범용 모델을 동시에 될 수 없다는 Google의 인정입니다. 이 세 가지는 서로 상충하는 엔지니어링 제약 조건이며, 하나의 모델이 세 가지를 모두 만족할 수 있다고 가장하면 반사작용으로는 너무 느리고 계획에는 너무 경직된 결과를 낳게 됩니다. 온디바이스 모델의 수백 개 예제 적응 기간은 전체 발표에서 상업적으로 가장 중요한 부분입니다. "로봇을 구축했다"와 "로봇 회사가 수개월의 재훈련 없이 자체 하드웨어에 탑재할 수 있는 무언가를 구축했다"의 차이기 때문입니다.

크로스 플랫폼 전략

이는 Google이 협업하는 대상을 보면 더 확실해집니다. Apptronik의 Apollo 2, Franka의 양팔 Duo, Boston Dynamics, Agile Robots, 그리고 Dexmate, SO101, Trossen입니다. 이는 독자적인 로봇 몸체를 구축하려는 계획이라면 모으지 않을 파트너 목록입니다. 반면, 어느 하드웨어가 승리하든 그 아래에서 실행되는 지능 계층이 되려는 계획이라면 모을 목록입니다. 스마트폰 제조사에 대한 Android와 같은 Google의 포지셔닝을, 아직 하드웨어 승자가 정해지지 않은 시장에 적용한 것입니다. Apollo 2가 방을 가로질러 걸어가 물뿌리개를 찾아 색상이 구분된 낮은 선반의 올바른 수거함에 놓는 시연은 멋진 쇼맨십입니다. 하지만 다중 로봇 인계, 즉 Apollo 2와 Franka F3 Duo가 요청받은 작업에 대한 공유된 의미론적 이해를 바탕으로 작업을 분담하는 부분이 크로스 플랫폼 주장을 실제로 뒷받침합니다. 두 제조사의 로봇이 맞춤형 통합 코드 대신 공유된 추론 계층을 통해 협동할 수 있다면, 그것이 Google이 실제로 판매하는 제품입니다.

성공률이 실제로 말해주는 것

이제 대충 넘어가서는 안 될 부분입니다. Google이 공개한 수치에 따르면, 작업에 따라 전신 조작 성공률은 45.7%에서 76.3% 사이이며, 삽입과 같은 그리퍼 기반 정밀 작업은 약 89.6%에 도달하고, 여러 손가락의 협응을 요구하는 다지 조작은 32%에서 92% 사이입니다. 연구 시연용으로는 부끄러운 수치가 아니며, 동시에 양산 수준의 신뢰성 수치도 아닙니다. 두 가지가 모두 사실입니다. 개별 수치보다 더 유익한 것은 그 아래에 있는 패턴입니다. 그리퍼로 못을 끼워 넣는 등 기계적으로 단순하고 반복 가능한 작업에서는 정밀도가 잘 유지되지만, 로봇이 충분히 관찰하지 못한 기하학적 형태를 가진 물체에 대해 여러 손가락이 협동해야 하는 작업에서는 무너집니다. 동일한 광범위한 작업 범주에서 32%에서 92%의 편차가 발생한다는 것은, 모델의 역량이 현재 작업별로 매우 특화되어 있으며, 제목만 읽는 사람에게 "전신 지능"이라는 프레이밍이 암시할 수 있는 범용성 수준에는 미치지 못한다는 의미입니다. 이는 이렇게 새로운 시스템에게 자연스러운 위치입니다. 또한 Google이 단일 확신 수치 대신 벤치마크 범위를 공개하는 정확한 이유이기도 합니다. 이는 증빙 자료가 첨부된 역량 시연일 뿐, 이 로봇들이 감독 없이 물류 창고에서 실행될 준비가 되었다는 주장이 아닙니다.

실제로 바뀐 것

이번 릴리스를 솔직하게 요약하자면, Google이 체화 로봇 공학을 해결한 것은 아니라는 것입니다. 아무도 해결하지 못했습니다. 하지만 "다음에 무엇이 일어나야 하는가", "얼마나 정확하게 손을 움직여야 하는가", 그리고 "네트워크 연결 없이 실행될 수 있는가"를 단일 모델이 세 가지 모두 평범하게 수행하도록 강제하는 대신 세 가지 모델로 분할하는 구체적인 아키텍처 문제는 해결했습니다. 이 부분은 향후 릴리스에서 성공률 수치가 어떻게 변하든 유지될 가능성이 높습니다. 테이블 위 한계는 더 나은 잡기 능력의 문제가 아니었습니다. 이동과 조작을 동일한 결정으로 다루는 시스템을 구축하지 못했던 것에 관한 것이었습니다. 이번 버전은 처음으로 그 둘이 동일해졌으며, 벤치마크 편차는 이 기술이 처음 도입되는 과정에서 발생하는 솔직한 대가입니다.