用NVIDIA Omniverse ISAAC Sim加速机器人仿真

NVIDIA 为 NVIDIA ISAAC Sim 发布了一个新的 NVIDIA Omniverse 机器人体验，以帮助支持对机器人学中精确、可靠、易于使用的仿真工具的加速需求。随着许多研究实验室和大学的无限期关闭，世界各地的机器人专家都与他们开发、测试和部署自主机器所需的物理硬件和环境分离开来。现在，更好的仿真工具比以往任何时候都能帮助机器人和自动化领域的重要工作向前发展。

这个机器人经验展示了 Omniverse 套件 中的 NVIDIA ISAAC Sim 仿真工具包。将 ISAAC Sim 构建到 Omniverse 平台中，相对于现有的机器人工作流程，它带来了一些有用的改进：

它利用了 Omniverse Kit 的高精度物理模拟，直接集成了业界领先的物理框架，如用于刚体动力学的 NVIDIA Physx SDK 和用于流体动力学的 NVIDIA 流量 。

它重新关注互操作性，与 NVIDIA ISAAC 软件开发工具包 和 ROS 的扩展进行了深度集成。

Omniverse 对于 ISAAC Sim 的体验很容易扩展。现在您可以使用 Omniverse 工具包的 基于 Python 的脚本接口 和 扩展系统 来定制 ISAAC Sim 以适应您自己的用例。

它是为可部署而构建的，其体系结构支持本地工作站上的工作流，在 NVIDIA Jetson 系列硬件的边缘，并通过云与 NVIDIA NGC 一起使用。

下面我们将更详细地了解此版本中包含的预览和示例代码。

桥接工作流

Omniverse ISAAC Sim 仿真环境支持两个突出的机器人框架： NVIDIA ISAAC 软件开发工具包 和 ROS 。

ISAAC SDK 是一个企业级框架，用于开发机器人人工智能、导航和操作应用程序。 ISAAC Sim 使用 Robot Engine Bridge （REB） 扩展与 ISAAC SDK 通信，通过 TCP / IP 发送模拟传感器数据、驱动器命令、地面真相和场景管理。 ISAAC SDK 文档 突出了一系列的仿真场景，从复杂的多机器人自主仓库导航到使用 Jupyter 笔记本的 简单操作 。此外， ISAAC SDK 与 ISAAC Sim 为几个基于 Jetson 的参考平台（如 卡特 和 卡娅 机器人）桥接虚拟和物理机器人。

Omniverse ISAAC Sim 还支持 ROS ，这是一个机器人专家常用的框架。 ISAAC Sim ROS Bridge 扩展使机器人研究人员能够利用 Omniverse ISAAC Sim 功能强大的多功能 GPU 实时仿真和协作平台来扩充现有的工作流程。此版本提供了一个 喙样 ，它将详细介绍如何发布和订阅主题，包括关节状态、关节命令、 TF 、相机和 Lidar 主题。

图 1 使用 ROS 网桥扩展来发布和订阅不同的 rostopic 。这张截图显示了一只弗兰卡熊猫机器人手臂的关节状态流到 ROS 。

敏捷自动化

ISAAC Sim 在 Omniverse 中的另一个优点是复杂的刚体动力学现在很容易在机器人和自动化场景中进行模拟。 UR10 示例应用程序 使用通用机器人的 UR10 机械臂和一个基于吸力的抓取器来说明垃圾箱的填充和堆垛过程。在垃圾箱填充的例子中，用户将不同的零件扔进一个机器人正在抓取的箱子里，直到箱子太重以至于吸力抓取器失灵。零件到处都是。然后，机器人手臂能够检测到掉落的垃圾箱，将其捡起来，并将其定位以接收新部件。虽然垃圾箱填充和堆垛是标准程序，但这些示例显示了如何智能地扩展它们，使机器人自动化更加灵活和适应动态环境。

UR10 示例应用程序附带了非常详细的源代码和文档。它们展示了几个核心仿真组件：

使用 URDF 进口商 加载机器人模型

为精益自动化创建状态机

使用 黎曼运动策略 （ RMPs ）将传统路径规划与高级运动生成相结合

模拟机器人上下的传感器。

查看此扩展以了解如何为您自己的机器人应用程序构建端到端仿真。

定制机器人

除了 UR10 机器人之外， Omniverse ISAAC Sim 还有一个机器人、末端效应器和环境的资产库，可用于模拟。但是，您也可以使用 ISAAC Sim URDF importer 扩展来处理您自己的定制机器人。此扩展将导入一个 URDF 文件并将其转换为 Omniverse 美元代表 ，使其成为高级模拟更可用、更持久的格式。 URDF Importer 扩展还附带了几个示例导入和 Python API ，用于加载和配置您自己的机器人。

在这个版本中，文档有一个 所以取样 ，它引导您完成为 Omniverse ISAAC Sim 导入和配置自定义机器人的过程。它以 NVIDIA 卡娅 作为参考硬件。 Kaya 是由 NVIDIA Jetson Nano 提供动力的 3D 打印机器人。它的目的是使先进的机器人技术为业余爱好者和教育者所用。然而，精确的仿真是一个特别具有挑战性的参考平台。它有几个 CAD 文件，一个复杂的完整传动系统，和许多传感器，必须配置这些传感器来模拟它的三维映射、定位、目标识别和里程计功能。您可以查看有关创建物理上精确的虚拟 Kaya 的文档，以了解如何从 CAD 或 URDF 文件转换为准备模拟的机器人。

图 3 Kaya 示例展示了如何从 CAD 文件或 ISAAC Sim URDF importer 扩展中定制或 DIY 机器人仿真。

感知世界

在 Omniverse 机器人技术体验中，您可以预览机器人模拟的实时光线跟踪的好处。除了逼真的视觉效果， Omniverse 实时光线跟踪还模拟光的物理行为。这使得 ISAAC Sim 能够精确地模拟几种基于光的传感器的物理特性，包括 RGB 相机、深度相机和激光雷达。 激光雷达样品 演示了如何利用 ISAAC Sim 激光雷达 API 来创建和激活这些传感器，用于训练自主机器人。设置分辨率、视野和旋转速率，以匹配物理机器人使用的激光雷达的硬件属性。

图 4 Omniverse ISAAC Sim 中的激光雷达扩展可用于模拟机器人的自主导航。

进行模拟

新的 Omniverse ISAAC Sim 体验的最新版本展示了现代机器人仿真工具包如何使研究人员和开发人员受益。在 NVIDIA Omniverse 平台上构建该工具包，为机器人仿真提供了新的工作流程，是可用性、可扩展性和互操作性的一次重大升级。

关于作者

Madeline Gannon 是 NVIDIA 的机器人和人工智能研究人员，她专注于人类与机器人交互的工具。甘农是世界经济论坛文化领袖，也是全球物联网、机器人和智能城市理事会的理事。甘农拥有卡内基梅隆大学博士学位和佛罗里达国际大学建筑学硕士学位。

审核编辑：郭婷