从桌面到全身:Gemini Robotics 2 真正改变了什么

专栏概述
7 月 30 日,Google DeepMind 发布了最新一代的 Gemini Robotics。报道这个故事最简单的方式就是写“Google 的机器人现在可以使用全身了”。这没错,但这也是你能写出的最无趣的句子。更有价值的问题在于,为什么以往每一代通用机器人模型——包括 Google 自己的——都止步于腰部,以及为了突破这一限制,底层到底需要做出什么改变。答案并非更大的模型,而是关于机器人需要多少个模型才能表现得像一个连贯整体的不同理论。
桌面天花板与野心无关
早期版本的 Gemini Robotics 在操作方面确实表现出色:抓取物体、旋转它、将其放置到精确位置,如果物体滑落则实时调整抓握方式。但它们没有被设计来做的是,在同一瞬间决定是向左走三步还是在伸手前蹲下。移动和操作实际上是同一个机器人身上的两个不同问题。这不是 Google 缺乏想象力——这是你仅用桌面演示数据训练策略时会发生的情况。机械臂学会了在固定底座前方有限的立体空间内表现得异常出色。如果你要求它在机械臂进行精细操作的同时,还要管理平衡、足部落点以及质心位置,你就交给了它一个训练数据中从未包含的协调问题。
为什么全身协调不能简单相加
直觉上的假设是,如果一个模型能行走,一个模型能抓取,将它们结合起来主要是一项工程任务。但事实并非如此,因为行走和抓取在竞争同一种资源:机器人的重心在哪里,以及它在摔倒前还有多少余量。一个伸手去够低处货架的人形机器人必须弯曲膝盖、向后移动髋部,并保持躯干足够稳定,以免手部动作幅度过大——与此同时,它正在抓取的物体会不断改变它正在维持平衡的重量分布。这不是两个并行运行的技能,而是它们之间持续不断的协商,每秒更新数十次。Google 自己对“全身智能”的描述——以协调的方式推理行走、蹲下、伸展和操作所需的每一个动作——实际上承认了将导航栈与操作栈缝合在一起的旧方法永远无法达到目标。你需要的是将整个序列视为一个决策的系统,而不是两个互不了解对方在做什么的系统之间的交接。
三模型才是真正的架构宣言
比演示视频更能说明问题的是,Google 并没有发布一个更大的模型来解决这个问题。它发布了三个模型,每个模型都在做其他模型在结构上无法做到的事情。Gemini Robotics 2 是视觉-语言-动作模型,它将机器人看到和听到的内容转化为实际的电机指令,从脚到指尖——这是必须快速运行且贴近硬件的层。Gemini Robotics ER 2 位于其上,作为具身推理层:这是一个视觉-语言模型,负责规划长达数分钟的多步骤任务,协调不同机器人之间的交接,并且——值得注意的是——改进了对附近人类的检测,这是一项伪装成能力升级的安全功能。然后是 Gemini Robotics On-Device 2,这是一个完全无需网络连接即可运行的压缩版本,也是附带最令人惊讶数据的版本:它可以在几小时内适应新的双臂机器人本体,通常只需要不到 200 个示例。
作为一个技术栈来解读,这是 Google 承认没有任何单一模型能够同时充当快速反射、长程规划器和具备离线能力的通用模型——这是三个相互权衡的不同工程约束,假装一个模型能满足所有三个约束,最终只会得到一个慢到无法作为反射、又僵硬到无法规划的系统。端侧模型的数百示例适应窗口可以说是整个发布中商业意义最大的部分,因为这是“我们造了一个机器人”和“我们造了机器人公司可以直接部署在自己硬件上而无需数月再训练的东西”之间的区别。
跨平台押注
Google 的合作伙伴名单进一步印证了这一点:Apptronik 的 Apollo 2、Franka 的双臂 Duo、Boston Dynamics、Agile Robots,以及 Dexmate、SO101 和 Trossen。如果你的计划是打造终极的机器人本体,你不会组建这样的合作伙伴名单。如果你的计划是成为无论谁的硬件胜出都能在其底层运行的智能层,你才会组建这样的名单——这与 Google 在手机制造商面前对 Android 采取的定位相同,只是应用到了一个尚未有硬件赢家的市场。Apollo 2 走过房间、找到浇水壶并将其放在低层货架上正确颜色编码的垃圾桶里的演示,是一场精彩的表演,但多机器人交接——Apollo 2 和 Franka F3 Duo 通过对所要求任务的共享语义理解来分担任务——才是真正支撑跨平台论点的部分。如果两个来自不同制造商的机器人可以通过共享的推理层而不是定制集成代码进行协调,这才是 Google 真正销售的产品。
成功率实际上在告诉你什么
现在是值得仔细审视的部分。Google 自己公布的数据显示,全身操作的成功率在 45.7% 到 76.3% 之间,具体取决于任务;基于夹爪的精细任务(如插接)成功率最高约为 89.6%;而多指灵巧操作的成功率在 32% 到 92% 之间。对于研究演示来说,这些数字并不丢人,但它们也不是生产级的可靠性数字——这两点同时成立。隐藏在这些数字背后的规律比任何单一数据都更具参考价值:当任务在机械上简单且可重复时(比如夹爪插入插头),精度往往能保持得很好;而当任务需要多个手指协调操作一个机器人尚未见过足够次数的几何形状的物体时,精度就会崩溃。在同一个大类任务上出现 32% 到 92% 的跨度,意味着该模型目前的能力高度依赖于具体任务,而不是像“全身智能”的措辞可能让只看标题的人以为的那样是通用的。对于一个如此新的系统来说,这是一个正常的阶段。这也正是为什么 Google 发布的是基准范围,而不是一个自信的单一数字——这是一次附带凭证的能力展示,而不是声称这些机器人已经准备好在仓库里无人值守地运行了。
这里真正改变了什么
总结这次发布最诚实的方式是,Google 并没有解决具身机器人技术——没有人做到——但它确实解决了一个具体的架构问题,即如何将“接下来应该发生什么”、“我该如何精确移动手部”和“这能在不联网的情况下运行吗”拆分给三个模型,而不是强迫一个模型在三个方面都表现平庸。无论未来几个版本的成功率数字如何变动,这部分内容都有望保持不变。桌面天花板实际上并不是为了更好的抓取。而是因为从未构建过一个将移动和操作视为同一决策的系统。这是它们第一次成为同一决策的版本,而基准范围的跨度正是这种全新尝试的诚实代价。