0°

OpenAI 和 Figure 的机器人是怎么回事?

  真正的具身智能提前一年到来?

  创建不到两年、估值 26 亿美元的机器人初创公司 Figure, 在 X 上亮相它与 OpenAI 的首次合作。全尺寸仿人机器人 Figure 01 正与人类和环境互动,展示它所拥有的识别、计划和执行任务的能力。

  Figure 机器人背后的技术原理是什么?OpenAI为其配置的智慧大脑是怎样运作的?与Google发布的机器人系统RT-1、PaLM-E、RT-2是怎样的关系?

  以下我们将做以简要解读。

  01.

  原理:Figure类似PaLM-E + RT-1,而非端到端的RT-2

  原理上,机器人Figure 看起来类似于Google在2023年3月发布的PaLM-E和RT-1的pipeline组合,而不是Google于2023年7月发布的端到端模型 RT-2。

  我们知道,如果机器人要与人进行自然语言交互(比如,人说“把桌子上的苹果拿给主人”),可以大致分为以下两个步骤。

  一是机器理解自然语言,并把自然语言转换成机器的抽象计划(所谓 high-level planning),这个抽象的计划可能是一系列的简单自然语言指令(比说“拿起苹果”、“把苹果移到人手上方”、“放开苹果”)。

  二是把这个抽象计划转换成底层具体的操控(所谓 low-level 执行),既把简单的自然语言指令转换成一系列的具体动作(比如旋转、移动、抓取、放开等基本动作)。

  简单来说,RT-1 仅是一个能听懂简单指令的机械臂,完成上面说的第二个步骤,模型中没有思维链,也不具备推理能力。PaLM-E 让机器人有了聪明的大脑,可以将复杂自然语言指令分解为简单指令,完成上面说的第一个步骤,然后再去调用 RT-1执行动作。

  所以,PaLM-E所做的只是自然语言理解以及 Planning 部分的工作,并不涉及机器人动作本身,它是一个VLM(Vision-Language Model )模型。

  RT-2 则是把以上环节端到端地集成到了一起,它能够用复杂文本指令直接操控机械臂,中间不再需要将其转化成简单指令,通过自然语言就可得到最终的 Action,它是一个VLA(Vision-Language-Action Model)模型。

  端到端的好处,是通用、能自动适应环境的各种变化,但问题是决策速度慢,很难做到Figure这种200hz的决策速度,比如RT-2论文里提到的决策频率是1到5hz,具体取决于语言模型的参数规模。

  关于RT-1、PaLM-E、RT-2的来世今生、区别和联系可以参见之前关于RT-2的文章:

  从机器人模型 RT-2 看多模态、Agent、3D视频生成以及自动驾驶

  02.

  亮点:既能用到大语言模型的常识和COT,又能达到人一般的操控速度

  Figure 视频的亮点是它既利用了大语言模型的常识和思维链COT的能力,又实现了快速的底层操控,几乎接近人的速度。

  比如在视频中,当人说“我饿了”,Figure思考了2-3秒后,小心翼翼地伸手抓住苹果,并迅速给人递过来。

  因为Figure基于大语言模型的常识,明白苹果是它面前唯一可以“吃”的事物,在人类没有任何提示和说明的前提下,即可以接近于人类的反应速度,与人自然交互。

  另外,也用上了大语言模型的长上下文的理解能力,比如“你能把它们放到那里吗”,谁是“它们”,“那里”是哪里?这些只有大语言模型才有能力精准抓取长上下文里的指代关系。

0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论