使用 NVIDIA Isaac Sim、ROS 和 Nimbus 开发多机器人环境

 

随着现实场景中部署的自主机器人越来越多，对高保真多机器人仿真环境的需求也在迅速增长。本文将回顾笔者过去在 Cogniteam 使用的仿真多机器人的方法、目前使用 NVIDIA Isaac Sim 所取得的进步，以及 Nimbus 如何通过 Isaac Sim 加速多机器人仿真的开发和维护。 

 

使用 Unreal Tournament 

游戏引擎进行多机器人仿真

 

大约 20 年前，我和 Cogniteam 的朋友们开始进行机器人开发。大家想要构建一个用于多机器人任务分配和团队工作的机器人框架。该系统最初被命名为 CogniTAO，后来又发布了简化版本 ROS decision_making。

 

当时，多机器人的用例还很少，而且也无法对这些机器人进行 3D 仿真。所以我为 Unreal Tournament 2000-2004 游戏引擎写了一个可以仿真四个机器人的 mod。我们这支由四名程序员组成的小团队花了大约 3 年时间，开发出一个可以顺利运行 15 分钟的仿真环境。

 

图 1. 四个机器人的仿真（左）

以及这些机器人的视频（右）

 

该环境能够在五台先进的台式电脑上仿真四个带有摄像头、Hokuyo 激光雷达、测向仪和测绘功能的机器人，并且能够远程接收每台机器人的视频资料。我们的一位工程师写了一个 C++ 的 TCP 客户端，可以直接从本地网络传输游戏引擎的数据并全屏显示。必须严格按照顺序运行代码，这样才能让机器人按时抵达正确的位置。

 

使用 Gazebo 进行多机器人仿真

 

到了 2013 年，在 Gazebo 成为实际中的机器人仿真平台后，我们把工作转移到了 Gazebo 上。三个程序员花了大约 2 年时间，在两台英特尔 Xeon 上仿真了 10 个机器人。他们使用了 ROS move_base 导航堆栈和 OpenCV Hough Circle Transform 进行模板检测，在 TensorFlow 出现之前，机器人团队都是用这个办法来做演示的。我们当时的同事花了 6 个月的时间构建了 RQT 插件，来控制和显示来自多个机器人的数据串流（图 2）。

 

图 2. 10 个带有 RQT 插件的机器人

所拍摄的视频影像和地图视图

 

这些机器人必须能够相互通信，也必须能够在无法通信的情况下运行。为了实现这一点，每个机器人都必须运行自己的 ROS 主程序，并通过 ROS 多主程序网络进行同步。

 

使用 NVIDIA Isaac Sim 进行多机器人仿真

 

几个月前，我请 Cogniteam 算法团队的计算机科学学生 Saar Moseri 使用云机器人生态 Nimbus 和 NVIDIA Isaac Sim 建立了一个多机器人仿真场景。我和内部测试团队都希望使用 Nimbus 来控制机器人，并查看它们所产生的数据。

 

Saar 花了大约两周时间熟悉环境和配置系统。图 3 所示的是这项工作的成果，运行在 Cogniteam 实验室一台装有 NVIDIA GeForce RTX 3080 的标准（单体）台式机上。

 

图 3. NVIDIA Isaac Sim 多机器人默认设置

 

Saar 依据了 NVIDIA NGC 上的 Isaac Sim 文档来安装和设置环境。他使用 Nimbus 在仿真机上设置了代理并创建了一个网关节点，通过 ROS 接收来自仿真机的数据。

 

图 4. Nimbus 机器人编辑器（左）

和 Nimbus 配置编辑器（右）

 

然后我们创建了图 5 所示的节点配置。

 

图 5. 带有 move_base 导航的 Nimbus 简单任务配置

 

这两个已经容器化的构建模块分别是一个网关节点和一个 move_base 导航的节点。该配置被部署到 Cogniteam 实验室仿真桌面上运行的代理中。其他更复杂的配置连同来源，包括用于 GMapping、路径追踪等的节点，都可以在 Nimbus Hub（https://app.cognimbus.com/nimbushub）获取。

 

我和团队都被这种方法的无限可能性震惊到了。在上述配置中，仿真感官数据从 Isaac Sim 通过 ROS 网关到达，ROS 网关同时支持 ROS 和 ROS 2。Nimbus 可实现查看和控制功能。

 

这个开箱即用的设置使我们的团队能够执行基本的仿真任务，并在实验室里仿真机器人车队的控制。不仅如此，还可以完成许多其他功能，比如记录机器人的仿真运行情况和感官数据、通过远程 SSH 连接到仿真机器、对仿真数据进行全局监控，甚至向验证团队发送有关仿真进展的电子邮件和短信通知。所有这些都可以在一个网络浏览器上完成。

 

将 Isaac Sim 与 Nimbus 组合成统一的系统，其功能与现有的云仿真产品相似，但在本地机器上运行且不会产生额外的云仿真计算成本。此外，它还开辟了一些新的先进仿真流程，比如硬件在环仿真等。这在云中运行仿真时是不可能做到的。图 6 显示了 Nimbus 中的控制、导航和绘图情况。

 

图 6. Nimbus 机器人 WebRTC 视频监控（左）

以及 Nimbus 地图视图和自主控制（右）

 

如要拷贝上述提到的设置，请参考 Isaac Sim documentation (https://catalog.ngc.nvidia.com/orgs/nvidia/containers/isaac-sim) 文档。然后在 Nimbus 上创建一个免费账户，登录后按照说明即可创建一个机器人。

 

在将机器人代理安装在 Isaac Sim 以 headless 模式运行的桌面上后，您就能够通过远程 SSH 配置仿真并在 Nimbus 网站上监控仿真机。

 

 

视频1. Nimbus 和 NVIDIA Isaac Sim 演示视频

 

您可在 Nimbus hub 部署 Isaac Sim 配置。由于一切都已经容器化（包括 Isaac Sim）并且可在浏览器上进行控制，因此不需要安装任何应用。机器上的代理将设置好执行所需的一切。

 

然后，您可以在该代理的监控页面上监控任何与您的设置相关的数据。在代理设置中，您可以通过在 ROS 串流上添加条件来定义通知，比如：

 

“if GoalStatus == ABORTED”
send sms/mail to [e-mail]

 

总结

 

仿真是成功部署自主机器人的关键。多次运行同一场景对测试来说至关重要，但多机器人仿真则有所不同。开发一个高保真的多机器人仿真环境十分复杂且耗时，但正如本文所述，您可以使用 NVIDIA Isaac Sim 和 Nimbus 简化这一过程。

 

如要进一步了解 Isaac Sim，请访问 NVIDIA Developer Isaac ROS Forum （https://forums.developer.nvidia.com/c/agx-autonomous-machines/isaac/67）。

 

 

         点击 “阅读原文”，或扫描下方海报二维码，观看 NVIDIA 创始人兼 CEO 黄仁勋在 COMPUTEX 2023 的主题演讲直播回放，主题演讲中文字幕版已上线，了解 AI、图形及其他领域的最新进展！

 

 

---

原文标题：使用 NVIDIA Isaac Sim、ROS 和 Nimbus 开发多机器人环境

文章出处：【微信公众号：NVIDIA英伟达】欢迎添加关注！文章转载请注明出处。