CMU、MIT、清华联合发布全球首个生成式机器人智能体RoboGen

CMU、MIT、清华联合发布了全球首个生成式机器人智能体RoboGen，可以无限生成数据，让机器人7*24小时永不停歇地训练。为机器人进入通用场景迈出坚实一步。  
   
RoboGen，一种自动学习多样化的生成式机器人仿真，通过生成模拟大规模提高机器人技能。

RoboGen 利用最新的基础模型和生成模型的进步，而不是直接使用或 调整这些模型以制定策略或低级行动一种生成方案，使用这些模型自动生成多样化的任务、场景和训练监督，从而在最少的人工监督下扩展机器人技能学习。

该方法设置了机器人代理，通过自我引导的提议-生成-学习循环：智能体首先提出有趣的任务和技能来开发，然后生成相应的模拟，通过使用适当的空间配置填充相关对象和资产来设置环境。

之后，代理将建议的高级任务分解为子任务，选择最优学习方法（强化学习、运动 计划或轨迹优化），生成所需的训练监督，然后学习策略以获得建议的技能。

该工作试图提取嵌入在大型模型中的广泛而多才多艺的知识，进入了机器人领域。完全生成式路径可以反复查询，从而产生源源不断的技能演示与不同的任务和环境。

RoboGen 使用 Genesis 进行仿真和渲染，Genesis 是一种用于通用机器人学习的多材料多求解器生成式仿真引擎。

 

实验证明，RoboGen能够生成多样化的技能演示，包括刚性和关节物体操作、可变形物体操作以及四足行走技能。

与以往的人工创建的机器人技能学习数据集相比，RoboGen生成的任务和技能更加多样化，几乎不需要人类参与。

该研究试图将大模型中的广泛知识转移到机器人领域，为通用机器人系统的大规模自动化技能训练迈出了一步。  

来源：CAAI认知系统与信息处理专委会  

审核编辑：刘清