NVIDIA Research端到端自动驾驶模型引领国际挑战赛

NVIDIA 在国际计算机视觉与模式识别会议（CVPR）上展示了用于自动驾驶汽车开发的加速计算和生成式 AI 的突破技术。

NVIDIA 采取行动加速自动驾驶汽车的开发，成为本周于美国西雅图举办的国际计算机视觉与模式识别会议（CVPR）的自动驾驶国际挑战赛的获胜者。

NVIDIA Research 继去年获得 3D Occupancy 预测冠军后，今年又凭借 Hydra-MDP 模型在大规模端到端驾驶类别中击败了全球 400 多个参赛者，荣登榜首。

这一里程碑显示了生成式 AI 在自动驾驶汽车（AV）开发过程中构建物理 AI 部署的重要性。该技术还可应用于工业环境、医疗、机器人等其他领域。

NVIDIA 的获奖作品还荣获 CVPR 创新奖，该奖项是对 NVIDIA 改进“任意端到端驾驶模型使用所学习到的开环代理指标”这一方法的认可。

此外，NVIDIA 还发布了 NVIDIA Omniverse Cloud Sensor RTX，这是一套可实现物理精确传感器仿真的微服务，可加速各类完全自主机器的开发。

端到端驾驶如何运作

比起短跑，自动驾驶汽车开发竞赛更像是一场永无止境的铁人三项赛，涉及到三个截然不同但又至关重要的部分：AI 训练、仿真和自动驾驶。每个部分都需要有各自的加速计算平台，并且专为这三个步骤打造的全栈系统，需要组合成一个能够保证开发周期不间断并且性能与安全性也不断提高的强大“铁三角”。

为了实现这一目标，首先要在NVIDIA DGX等 AI 超级计算机上对模型进行训练。然后，通过使用NVIDIA Omniverse平台并在NVIDIA OVX系统上对模型进行测试和验证。最后在NVIDIA DRIVE AGX平台上通过该模型实时处理传感器数据。

建立一个能够在复杂物理世界中安全导航的自动驾驶系统极具挑战性。该系统需要全面感知和了解周围环境，然后在几分之一秒内做出正确且安全的决策。因此，系统必须具备类似人类的态势感知能力，才能处理潜在的危险或罕见情况。

传统的 AV 软件开发一直基于模块化方法，包括用于物体检测和追踪、轨迹预测以及路径规划和控制的独立组件。

端到端自动驾驶系统采用一个统一模型接收传感器输入并生成车辆轨迹，从而简化了这一过程，有助于避免工作流变得过于复杂并提供了一种更加全面、以数据为依据的方法来处理现实世界中的各种情况。

引领国际挑战赛

今年的 CVPR 挑战赛要求参赛者利用 nuPlan 数据集开发出能够根据传感器数据生成驾驶轨迹的端到端自动驾驶模型。

所提交的模型将在开源的 NAVSIM 模拟器中进行测试，它的任务是在数千种从未体验过的场景中进行导航。比赛根据安全性、乘客舒适度以及与原始记录轨迹的偏差等指标对模型性能进行评分。

胜出的 NVIDIA Research 端到端模型能够获取摄像头和激光雷达数据以及车辆的轨迹历史记录，在传感器输入后的五秒钟内就能生成安全的最佳车辆路径。

NVIDIA 研究人员赢得此次比赛所使用的工作流可以通过 NVIDIA Omniverse 在高保真仿真环境中进行复制，这意味着自动驾驶仿真开发人员能够在现实世界测试自动驾驶汽车之前，先在物理精确的环境中创建工作流。NVIDIA  Omniverse Cloud Sensor RTX微服务将于今年晚些时候推出。请注册以获得抢先体验 https://developer.nvidia.com/login 。

此外，NVIDIA 提交的作品在 CVPR 自动驾驶大型挑战赛语言驾驶类别中排名第二。NVIDIA 的模型打通了视觉语言模型和自动驾驶系统，通过整合大语言模型的强大功能帮助做出决策并实现可通用、可解释的驾驶行为。