基于真实世界演示训练机器人策略,不仅成本高、速度慢,还容易出现过拟合问题,进而限制其在不同任务与环境中的泛化能力。而仿真优先的方法可简化开发流程、降低风险与成本,同时部署到真实环境也将更安全、适应性更强。
最新的 Isaac Lab 2.3 早期开发者预览版,通过先进的全身控制、强化的模仿学习和更优的运动能力,提升了人形机器人的性能。此次更新还扩展了遥操作的数据收集功能,可支持 Meta Quest VR 和 Manus 手套等设备,加速了演示数据集的创建。此外,新版本引入了基于运动规划器的工作流,用于在操作任务中生成数据。
新增强化学习与模仿学习:Isaac Lab 2.3 为灵巧操作任务推出了多项新功能,包括用于感知和本体感知的字典观察空间,以及自动域随机化(ADR)和群体训练(PBT)的技术,以提高强化学习训练的可扩展性。
Isaac Lab 2.3 还新增了带吸盘夹具的基准测试环境,可支持吸盘与传统夹具两种操作模式。本次更新在基于管理器的工作流中加入了针对 CPU 端平面夹具的支持,以强化模仿学习功能。
优化升级的灵巧操作遥操作功能:Isaac Lab 2.3 新增对宇树 G1 机器人的遥操作支持,可对宇树三指灵巧手和 Inspire 五指灵巧手进行动作映射。灵巧动作映射指将人手姿态转换为机器人手部关节位置的过程,可实现高效的人机技能迁移,提升接触密集型手部任务的执行表现,并为训练稳健的操作策略生成丰富的演示数据。本次更新还针对傅利叶 GR1T2、宇树 G1 等双臂机器人,改进了上半身控制。
引入无碰撞运动规划技术,助力操作数据生成:在最新版的 Isaac Lab 中,开发者可以使用 Isaac Lab Mimic 中的 SkillGen 来生成演示。SkillGen 工作流能生成自适应、无碰撞的操作演示。它将人工提供的子任务片段与 GPU 加速运动规划相结合,使得只需少量的人工演示,就能学习现实世界中接触密集型操作任务。
移动机器人的端到端导航:开发者现可利用 Isaac Lab 中的移动工作流对 NVIDIA COMPASS 进行后训练。NVIDIA COMPASS 是基于视觉的通用移动工作流,适配不同类型机器人与多样环境。该工作流包括三个环节:在 Isaac Sim 中进行合成数据生成、训练移动模型,以及最终部署到 NVIDIA Jetson Orin 或 NVIDIA Thor。通过 Cosmos Transfer 技术优化合成数据,可以有效缩小仿真与现实的差距。
人形机器人移动操作的合成数据生成:移动操作是指移动与操作的协同执行:机器人在移动机身(行走或滚动)的同时,对物体实施动作(抓取、推动或拉动),形成全身协同作业体系。该工作流通过整合导航与全身控制器(WBC),生成移动与操作协同合作的机器人任务演示数据。借助这一方案,机器人能够执行复杂且连续的任务,例如从桌面抓取物体、穿越空间,再将物体放置到其他位置。
策略评估框架:NVIDIA 正与光轮智能共同开发 NVIDIA Isaac Lab – Arena。这是一款用于可扩展仿真实验的开源策略评估框架。借助该框架的 API,开发者无需自行搭建系统,即可简化并执行复杂的大规模评估任务。这意味着开发者既能专注于策略迭代,也能向社区贡献评估方法,进而加速机器人研究领域的研发进程。
基础设施支持:Isaac Lab 2.3 现支持搭载 NVIDIA GB10 Grace Blackwell 超级芯片的 NVIDIA RTX PRO Blackwell 服务器与 DGX Spark 系统。无论是 RTX PRO 还是 DGX Spark,均为研究人员提供了卓越平台,可支撑从训练、合成数据生成到机器人学习与仿真等各类机器人开发工作负载的实验、原型开发与运行。
全部0条评论
快来发表一下你的评论吧 !