本文介绍代码即策略(CaP):一种以机器人为中心的语言模型生成程序 (LMP) 公式,可以表示反应策略(例如阻抗控制器)以及基于路径点的策略(基于视觉的拾取-和-放置、基于轨迹的控制),已在多个真实机器人平台上进行演示。

23年5月来自谷歌的论文“Code as Policies: Language Model Programs for Embodied Control”。

经过代码补全训练的大语言模型 (LLM) ,已被证明能够从文档字符串合成简单的 Python 程序 [1]。这些编写代码的 LLM 可以重新用于编写机器人策略代码,只需提供自然语言命令即可。具体来说,策略代码可以表达处理感知输出(例如来自目标检测器 [2]、[3])和参数化控制原语 API 的函数或反馈循环。当提供几个示例语言命令(格式化为注释)作为输入时,然后提供相应的策略代码(通过少量提示),LLM 可以接收新命令并自主重新编写 API 调用,分别生成新策略代码。通过链接经典逻辑结构并引用第三方库(例如 NumPy、Shapely)来执行算术,以这种方式使用的 LLM 可以编写机器人策略,这些策略 (i) 展示空间几何推理,(ii) 推广到新指令,以及 (iii) 根据上下文(即行为常识)为模糊描述(“更快”)指定精确值(例如速度)。

本文介绍代码即策略(CaP):一种以机器人为中心的语言模型生成程序 (LMP) 公式,可以表示反应策略(例如阻抗控制器)以及基于路径点的策略(基于视觉的拾取-和-放置、基于轨迹的控制),已在多个真实机器人平台上进行演示。核心是提示分层代码生成(递归定义未定义的函数),它可以编写更复杂的代码,还可以提高现有技术水平,以解决 HumanEval [1] 基准上 39.8% 的问题。

如图所示:通过给定示例(通过少量提示),机器人可以使用编写代码的大语言模型 (LLM) 将自然语言命令转换为机器人策略代码,该代码处理感知输出、参数化控制原语、递归生成未定义函数的代码并推广到新任务。

 

术语“语言模型程序(LMP)”指代由语言模型生成并在系统上执行的任何程序。这项工作研究代码即策略,这是一类 LMP,它将语言指令映射到代码片段,这些代码片段 (i) 对感知输入做出反应(即来自传感器或传感器之上的模块),(ii) 参数化控制原语 API,以及 (iii) 直接在机器人上编译和执行,例如:

 

输入指令被格式化为注释(绿色),可以由人类提供或由另一个 LMP 编写。LLM 的预测输出(突出显示)应为有效的 Python 代码,由自回归生成 [11],[12]。LMP 是使用示例提示的少量样本,用于生成不同的子程序,这些子程序可能处理目标检测结果、构建轨迹或序列控制原语。可以通过组合已知函数(例如,使用感知模块的 get_obj_names())或调用其他 LMP 定义未定义的函数来分层生成 LMP:

 

对于新的具身,这些活动函数调用,可以用表示智体动作空间(例如 set_velocity)的可用控制 API 替换。具有详细变量名的分层代码生成,可以看作是通过函数式编程进行思维链提示 [47] 的变型。LMP 定义的函数可以随时间的推移逐渐积累,其中新的 LMP 可以引用以前构建的函数来扩展策略逻辑。

要执行 LMP,首先检查它是否可以安全运行,确保没有 import 语句、以 __ 开头的特殊变量或对 exec 和 eval 的调用。然后,调用 Python 的 exec 函数,使用代码作为输入字符串和两个字典构成该代码执行的范围:(i) global 变量,包含生成的代码可能调用的所有 API,以及 (ii) local 变量,一个空字典,它将填充在 exec 期间定义的变量和新函数。如果预计 LMP 将返回一个值,会在 exec 完成后从 local 变量中获取它。

如图所示代码即策略可以遵循不同领域和机器人的自然语言指令:桌面操作 (a)-(b)、2D 形状绘制 (c) 以及在厨房中使用 Everyday Robots 机器人进行移动操作 (d)。该方法使机器人能够使用现成的模型和少量提示进行空间几何推理、解析目标关系并形成多步行为,而无需额外训练。

 

在机器人策略的背景下,LMP 可以根据自然语言指令编写感知到控制的反馈逻辑,其中感知模型(状态)的高级输出可以通过编程方式进行操作,并用于通知低级控制 API(操作)的参数。有关可用感知和控制 API 的先前信息可以通过示例和提示进行引导。这些 API 将 LMP “接地”到现实世界的机器人系统,感知和控制算法的改进可以直接提高基于 LMP 的策略的能力。例如,真实世界实验中,用最近开发的、现成的、开放词汇目标检测模型(如 ViLD [3] 和 MDETR [2])来获取目标位置和边框。

基于 LMP 的策略有三方面的好处:(i) 可以将策略代码和参数调整为,由未见过自然语言指令指定的新任务和行为;(ii) 可以通过引导开放词汇感知系统和/或显着性(saliency)模型推广到新目标和环境;(iii) 不需要任何额外的数据收集或模型训练。生成的规划和策略也是可解释的,因为它们以代码表示,因此可以轻松修改和重用。使用 LMP 进行高级用户交互继承了 LLM 的优势,包括使用常识知识解析富有表现力的自然语言、考虑先前的上下文、多语言功能以及参与对话。

在真实世界桌面操控实验,UR5e 机器人的任务是根据自然语言指令操控桌面上的目标。该机器人配备了吸盘夹持器,只能执行由 2D 自上而下的拾取-和-放置位置参数化的拾取-和-放置动作。机器人还需要使用提供的感知 API 回答有关场景的问题(例如,有多少个块?)。在演示中,用 Google Cloud 的语音-转-文本和文本-转-语音 API,让用户通过语音命令与系统交互,并听到机器人对命令和问题的回答。目前,提示仅支持拥有一组唯一目标。这不是 CaP 的限制,而是感知系统的限制——没有很好的方法来在 VLM 检测中保留重复目标的身份。一个更复杂的跟踪感知世界状态的系统可以解决这个问题。

移动操控实验由 Everyday Robots 的机器人在现实世界的办公室厨房中导航和与目标交互而设置。该机器人有一个移动底座和一个 7DoF 臂。为了实现感知 API,主要使用机器人上的 RGBD 相机传感器。其中的机器人如图所示。

 

与现实世界的桌面领域类似,构建了一个模拟桌面环境,其中配备了 Robotiq 2F85 夹爪的 UR5e 机器人会收到自然语言指令来完成重新排列任务。这些物体包括 10 个不同颜色的积木和 10 个不同颜色的碗。拟议的 CaP 提供了 API,用于通过脚本化目标检测器访问当前目标及其位置的列表,以及通过坐标或目标名称参数化的拾取-和-放置运动原语。

Loading

作者 yinhua

发表回复