NVIDIA Isaac ROS GEM的功能特性

NVIDIA Isaac ROS GEM 是一款基于硬件加速的软件包，可以让 ROS 开发者更轻松地基于 NVIDIA 硬件构建高性能解决方案。

NVIDIA Isaac ROS GEM 功能特性

高吞吐量感知

Isaac ROS GEM 提供的软件包中包括图像、计算机视觉，以及针对 NVIDIA GPU 和 Jetson 高度优化的 DNN 处理功能。

灵活的模组化软件包

借助模组化软件包，ROS 开发者可以准确地选择需要集成到其应用中的内容。这意味着他们可以替换整个工作流，也可以仅更换一种算法。

缩短开发时间

Isaac ROS GEM 经过精心设计和测试，与现有的常见 ROS 节点相似，更易于集成到现有应用中。

适用于 ROS 开发者

且丰富多样的感知 AI 软件包

ROS 2 节点可应对常用的图像、计算机和 DNN 处理功能，这些功能是为 AI ROS 机器人应用提供高性能感知的关键要素。

基于 Visual SLAM 的定位

当自主机器在相应环境中移动时，它们必须持续追踪自己的位置。视觉测距通过估算摄像头相对于其起始位置的距离来解决这一问题。支持立体视觉测距的 Isaac ROS GEM 为 ROS 开发者提供了这一强大功能。

此 GEM 使实时立体摄像头视觉测距解决方案具备高准确度。可在此处参考基于广泛使用的 KITTI 数据库的公开可用结果。此 GPU 加速软件包不仅具备高准确度，运行速度也非常快。事实上，SLAM 现在可在 Jetson Xavier AGX 上以高清分辨率（1280 x 720）实时（60 fps 以上）运行。

3D 场景重建 – nvblox（预览）

仅仅明确机器人的位置还不足以在复杂的环境中实现安全导航。机器人还必须能够自己发现障碍物。nvblox（预览）使用 RGB-D 数据来创建机器人所在环境的密集 3D 显示。其中包括不可预见的障碍物，如果不进行实时观察，可能会对机器人造成危险。而此数据有助于为导航堆栈生成时间成本图。

DNN 推理过程

DNN 推理 GEM 是一组 ROS2 软件包，允许开发人员使用 NGC 上可用的 NVIDIA 众多推理模型中的任何一种，甚至可以提供自己的 DNN。利用 NVIDIA TAO 工具套件，开发者可以进一步调整预训练模型或优化自己的模型。

优化后，这些软件包将通过 NVIDIA 的推理服务器 TensorRT 或 Triton 进行部署。借助利用 TensorRT（NVIDIA 的高性能推理 SDK）的节点实现出色的推理性能。如果 TensorRT 不支持所需的 DNN 模型，则可以使用 Triton 来部署模型。

整合模型支持的其他 GEM 现已推出，并支持 U-Net 和 DOPE 。基于 TensorRT 的 U-Net 软件包可用来从图像中生成语义分割遮罩。DOPE 软件包可用于对所有检测到的目标进行 3D 姿态估计。

该工具是在 ROS 应用程序中加入高性能 AI 推理的最快方法。下图为预训练模型 PeopleSemSegNet，运行速度为 25fps @544p。

摄像头 / 图像处理

在典型的机器人图像处理流程中，须先处理通过摄像头传感器获得的原始数据，然后再将其传递给 DNN 或用于感知处理的经典计算机视觉模组。此图像处理过程包括镜头失真校正（LDC）、图像调整和图像格式转换等。如果需要用到立体摄像头，则还需要估计差异。图像处理 GEM 旨在利用 Jetson 上的专用计算机视觉硬件，例如 GPU、VIC（视频和图像合成器）和 PVA（可编程的视觉加速器）。

针对使用 CSI 接口连接摄像头的机器人，NVIDIA 提供硬件加速的 Argus 软件包。

审核编辑：汤梓红