基于英伟达Jetson Thor芯片，如何快速实现具身智能方案创新？

电子发烧友网报道（文/吴子鹏）近一段时间，在各种人工智能相关的大会上，具身智能已经成为共同的话题，并且有很多人将2024年定义为具身智能产业发展元年，因为此前都是概念性探索，今年则是开始切实地需求落地。

根据中国计算机学会的定义，具身智能横跨人工智能、机器人学习、计算机视觉等学科，属于有物理身体的智能体通过与物理环境进行交互，从而获得智能的人工智能研究范式。那么，如果工程师想要搭建自己的具身智能创新方案，该如何做呢？
 
那么，在这里我们向大家推荐英伟达的Jetson Thor芯片方案以及相关的配套资源。
 

专门为机器人应用打造的Jetson Thor

1950年图灵首次提出具身智能概念，但在那之后具身智能并没有取得很大进展，很重要的原因就是基于当时的软硬件资源，具身智能简直就是天方夜谭。在ITF World 2023半导体大会上，英伟达创始人兼首席执行官黄仁勋重提具身智能，他认为人工智能下一个浪潮将是具身智能”。
 
在GTC 2024上，英伟达发布了专为人形机器人打造的Jetson Thor芯片平台，这款芯片融入了非常多的英伟达关于具身智能发展的“know how”。在Jetson Thor发布之前，英伟达在机器人领域已经发布了多款芯片方案，包括Jetson Orin、Jetson Orin Nano和Jetson AGX Xavier等。
 

Jetson硬件路线图，图源：英伟达

 
并且，正如英伟达所言，每一款Jetson系列产品都是一个完整的系统模组 (SOM)，其中包括 GPU、CPU、内存、电源管理和高速接口等。以Jetson Orin模组为例，最高可提供高达每秒 275万亿次浮点运算 (TOPS）的算力，拥有4GB到64GB内存配置，模组功耗在7瓦到60瓦之间。
 
Jetson Thor延续了Jetson系列高性能的传统，可提供每秒800万亿次8位浮点运算AI性能，并集成功能安全处理器、高性能CPU集群和100GB以太网带宽。正如笔者此前文章提到的，Jetson Thor基于英伟达Blackwell架构，保证了该芯片的高性能。和英伟达上一代Hopper架构相比，Blackwell架构在各项性能方面都带来了数倍的提升。并且，Blackwell Tensor核心增加了新的精度，基于该架构打造的第二代Transformer引擎支持4位浮点数AI推理，计算能力和模型规模提高一倍。
 
根据英伟达的介绍，Jetson Thor能够执行复杂的任务并安全、自然地与人和机器交互，具有针对性能、功耗和尺寸优化的模块化架构。
 

围绕Jetson系列丰富的开发资源

如上所述，英伟达Jetson系列是面向机器人开发的解决方案，满足各种应用的性能和预算需求。在这套方案中，除了高性能、高度集成的芯片平台，还有丰富的配套资源。
 
比如，面向产品开发的开发者，Jetson系列整合JetPack SDK、Metropolis微服务、生产就绪的Isaac ROS软件包和特定于应用程序的参考AI工作流程。
 
JetPack SDK是Jetson软件堆栈的源头，提供Jetson Linux、开发人员工具、CUDA-X加速库和其他NVIDIA技术。JetPack SDK构建了用于各种机器人应用的底层能力，借助JetPack SDK，开发者可以使用TensorRT和cuDNN用于加速AI推理，CUDA用于加速通用计算，VPI用于加速计算机视觉和图像处理，Jetson Linux API用于加速多媒体，libArgus和V4l2用于加速相机处理。
 
同时，借助Jetson Linux，开发人员可以开发各种应用程序，工具包中包含Linux内核、引导加载器、NVIDIA驱动程序、闪烁实用程序、示例文件系统和Jetson平台的工具链，使得应用程序开发非常迅捷。总结来说，在JetPack SDK中，拥有非常丰富的细分功能的SDK，工程师朋友可以根据自己的需要去选择。
 
我们再看一下Isaac ROS软件包，它是一个用于机器人操作系统的软硬件加速包，包括多个开源选项。Isaac ROS提供具有图像处理和计算机视觉功能的单个软件包（GEM）和完整管道（NITROS），帮助机器人应用构建高吞吐量的感知系统；模块化软件包的Isaac ROS让开发人员可以根据自己的需要来替换部分算法；Isaac ROS拥有非常出色的兼容性，能够大幅缩短机器人方案的开发周期。总之，Isaac ROS是一个功能丰富且模块化的感知软件包，为机器人应用程序带来高性能感知和硬件加速。
 
面向教育工作者、学生和发烧友，英伟达也提供Jetson Nano开发者套件，能够帮助这类型的开发者进行教授、学习和开发AI与机器人融合的方案。
 
除了丰富的配套开发资源，我们还要重提英伟达在具身智能大模型方面的先进理念，英伟达Project GR00T人形机器人基础模型是一个VLA类型的模型，具备语言、动作和专业机器人知识模态，是未来具身智能开发的主流模型路线。这些知识和资源，开发者都可以从英伟达GR00T项目或者 Isaac工具组合中去获取。
 

结语

英伟达Jetson Thor芯片是该公司专门为机器人应用打造的高性能推理芯片，也是Jetson系列面向未来具身智能应用给出的硬件解决方案，高算力、高度集成和一体化方案是该平台的特点。
 
同时，英伟达还提供了丰富的软件资源，从最底层的SDK到操作系统层面都可以找到相关的资源，实现具身智能等机器人应用的快速开发。