NVIDIA JetPack 6.2引入Super模式

NVIDIA Jetson Orin Nano Super 开发者套件的推出开创了小型边缘设备生成式 AI 的新时代。全新的 Super 模式为生成式 AI 性能带来了空前的提升，最多可提升至 1.7 倍，使其成为高性价比的生成式 AI 超级计算机。

JetPack 6.2 现已支持 Jetson Orin Nano 和 Jetson Orin NX 生产模组通过 Super 模式实现性能升级，最多可将生成式 AI 性能提升至 2 倍。现在，您可以为新的和现有的机器人和边缘 AI 应用释放更多价值并降低总体拥有成本。

本文将详细介绍 Super 模式的详细信息，包括新的功率模式、Jetson Orin Nano 和 Orin NX 模组上常用生成式 AI 模型的基准性能、文档更新情况以及支持 Super 开发者套件的 NPN 合作伙伴。

Jetson Orin Nano 和Jetson Orin NX 系列的新参考功率模式

JetPack 6.2 通过在 GPU、DLA 内存和 CPU 时钟上解锁更高的频率，提升 Jetson Orin Nano 和 Jetson Orin NX 系列的功耗。

表 1. Jetson Orin Nano 和 Jetson Orin NX 模组的新参考功率模式

Jetson Orin Nano 模组现在有 25W 模式和无功率上限的全新 MAXN SUPER 模式。同样，Jetson Orin NX 模组现在可以使用新的 40W 参考功率模式以及无功率上限的 MAXN SUPER 模式。

MAXN SUPER 是一种无功率上限的功率模式，所支持的 CPU、GPU、DLA、PVA 和 SOC 引擎核数量和时钟频率最高。在该模式下，如果模组总功率超过热设计功率（TDP）上限，系统会将模组调低频率，通过降低性能将功率控制在热上限内。

我们强烈建议您建立自己的自定义功率模式，以便在功耗或热稳定性与性能之间找到适合您的应用和需求的合适平衡点。

表 2 比较了 Jetson Orin Nano 4GB 和 8GB 以及 Jetson Orin NX 8GB 和 16GB 在原始模式和 Super 模式下的详细规格。

表 2. Jetson Orin Nano 和 Jetson Orin NX 在原始模式和 Super 模式下的规格

在使用新的功率模式时，请确保产品当前或新的热设计能够适应功率模式的新规格。

最新功耗估算器工具

功耗估算器工具是 NVIDIA 提供的一个功能强大的工具，它可通过修改系统参数（例如 GPU、CPU、DLA 等的核数、最高频率和负载水平）创建自定义功耗配置文件和 nvpmodel 配置文件。该工具能够估算各种设置下的功耗，在需要平衡性能和功耗时可用于创建满足需求的最佳参数设置。

我们已在功耗估算器工具中增加了 Super 模式。我们强烈建议您在部署高性能应用之前使用功耗估算器工具并进行实际验证。

常用生成式 AI 模型的性能提升情况

在通过 JetPack 6.2 引入 Super 模式后，Jetson Orin Nano 和 Jetson Orin NX 模组的推理性能最多可提升至 2 倍。我们对最常用的大语言模型（LLM）、视觉语言模型（VLM）和视觉转换器（ViT）进行了基准测试。

大语言模型

下图和表格显示了 Llama3.1 8B、Qwen2.5 7B 和 Gemma2 2B 等常用 LLM 在 Super 模式下的性能基准。

图 1. 使用 Super 模式时的 LLM 性能提升情况

DNR 表示模组内存不足以运行特定模型。模型性能会受到节流行为的影响。

下表中的 LLM 生成性能（每秒 token 数）使用 MLC API 进行 INT4 量化后测量得出。

表 3 显示了JetPack 6.2 为 Jetson Orin Nano 4GB 上的 LLM 所带来的性能提升。

表 3. Jetson Orin Nano 4GB 上常用 LLM 的基准性能（token/秒）

表 4 显示了 JetPack 6.2 为 Jetson Orin Nano 8GB 上的 LLM 所带来的性能提升。

表 4. Jetson Orin Nano 8GB 上常用 LLM 的基准性能（token/秒）

表 5 显示了 JetPack 6.2 为 Jetson Orin NX 8GB 上的 LLM 所带来的性能提升。

表 5. Jetson Orin NX 8GB 上常用 LLM 的基准性能（token/秒）

表 6 显示了 JetPack 6.2 为 Jetson Orin NX 16GB 上的 LLM 所带来的性能提升。

表 6. Jetson Orin NX 16GB 上常用 LLM 的基准性能（token/秒）

视觉语言模型

下图和表格显示了 VILA1.5 8B、LLAVA1.6 7B 和 Qwen2 VL 2B 等常用 VLM 在 Super 模式下的性能基准。

图 2. 使用 Super 模式运行时的 VLM 性能提升情况

DNR 表示模组内存不足以运行特定模型。模型性能会受到节流行为的影响。

表 7 显示了 JetPack 6.2 为 Jetson Orin Nano 4GB 上的 VLM 所带来的性能提升。

表 7. Jetson Orin Nano 4GB 上常用 VLM 的基准性能（token/秒）

表 8 显示了 JetPack 6.2 为 Jetson Orin Nano 8GB 上的 VLM 所带来的性能提升。

表 8. Jetson Orin Nano 8GB 上常用 VLM 的基准性能（token/秒）

表 9 显示了 JetPack 6.2 为 Jetson Orin NX 8GB 上的VLM所带来的性能提升。

表 9. Jetson Orin NX 8GB 上常用 VLM 的基准性能（token/秒）

表 10 显示了 JetPack 6.2 为 Jetson Orin NX 16GB 上的 VLM 所带来的性能提升。

表 10. Jetson Orin NX 16 GB 上常用 VLM 的基准性能（token/秒）

所有 VILA 和 LLAVA 模型均使用 MLC 以 INT4 精度运行，其余模型使用 Hugging Face Transformer 以 FP4 精度运行。

视觉 Transformer

下图和表格显示了 CLIP、DINO 和 SAM2 等常用 ViT 在 Super 模式下的性能基准。

图 3. 使用 Super 模式运行时的 ViT 性能提升情况

DNR 表示模组上的内存不足以运行特定模型。模型性能会受到节流行为的影响。

表 11 显示了 JetPack 6.2 为 Jetson Orin Nano 4GB 上的 ViT 所带来的性能提升。

表 11. Jetson Orin Nano 4GB 上常用 ViT 的基准性能（token/秒）

表 12 显示了 JetPack 6.2 为 Jetson Orin Nano 8GB 上的 ViT 所带来的性能提升。

表 12. Jetson Orin Nano 8GB 上常用 ViT 的基准性能（token/秒）

表 13 显示了 JetPack 6.2 为 Jetson Orin NX 8GB 上的 ViT 所带来的性能提升。

表 13. Jetson Orin NX 8GB 上常用 ViT 的基准性能（token/秒）

表 14 显示了 JetPack 6.2 为 Jetson Orin NX 16GB 上的 ViT 所带来的性能提升。
 

表 14. Jetson Orin NX 16GB 上常用 ViT 的基准性能（token/秒）

所有 ViT 模型均使用 NVIDIA TensorRT 以 FP16 精度运行，测量单位为 FPS。

开始使用搭载 JetPack 6.2 的NVIDIA Jetson Orin Nano和 Jetson Orin NX

NVIDIA Jetson 生态系统提供了多种使用 JetPack 镜像刷写开发者套件和生产模组的方式。

可使用以下任何一种方法在 Jetson Orin Nano 开发者套件或模组上安装 JetPack 6.2：

从 JetPack SDK 页面获得 SD 卡镜像：

https://developer.nvidia.com/embedded/jetpack

根据下载和安装说明，对 SDK Manager 进行刷写：

https://developer.nvidia.com/sdk-manager

根据刷写支持，刷写 bootloader、kernel 和 root file system 的脚本：

https://docs.nvidia.com/jetson/archives/r36.4.3/DeveloperGuide/SD/FlashingSupport.html#flashing-support

新的刷写配置

新功率模式仅适用于新的刷写配置。默认刷写配置没有改变。如要启用新功率模式，您必须在刷写时使用新的刷写配置。

下面是进行刷写时使用的新的刷写配置：

jetson-orin-nano-devkit-super.conf

刷写或更新到 JetPack 6.2 后，运行以下命令以启动新提供的 Super 模式。

在 Jetson Orin Nano 模组上启动 MAXN SUPER 模式：

sudo nvpmodel -m 2

在 Jetson Orin NX 模组上启动 MAXN SUPER 模式：

sudo nvpmodel -m 0

您还可以从页面右上角的功率模式菜单中选择 MAXN SUPER 和其他功率模式。

图 4. 功率模式选择菜单

Jetson AI Lab

Jetson AI 实验室是 NVIDIA 探索和试验针对边缘设备优化的生成式 AI 技术的中心。它为开发者提供支持并为合作社区提供近 50 种教程、预构建容器和资源，帮助社区使用经过优化的推理基础设施部署设备端 LLM、SLM、VLM、扩散策略和语音模型。

通过简化前沿 AI 工具的访问途径，该实验室使各级别的开发者都能在本地进行创新和部署生成式 AI，从而推动开源边缘 AI 和机器人学习的发展。

Jetson 生态系统合作伙伴为 Super 模式做好准备

为了帮助客户进行部署，Jetson 生态系统合作伙伴已通过增强自己的解决方案，支持这一轮性能提升。

NVIDIA Jetson Orin生命周期和路线图

由于客户对 Jetson Orin 的需求不断增长，NVIDIA 最近宣布将 Jetson Orin 的产品生命周期延长至 2032 年。经过这次的性能提升，Jetson Orin Nano 和 Orin NX 系列已成为当前和未来模型的理想平台。

即将发布的 JetPack 5.1.5 也将支持 Jetson Orin NX 和 Jetson Orin Nano 模组的 Super 模式。使用 JetPack 5 进行开发的开发者和客户将从性能提升中受益。

图 5. JetPack 软件路线图

使用 JetPack 6.2提升应用性能

JetPack 6.2 是一个突破性的版本，它可在现有 Jetson 模组上实现惊人的 2 倍推理性能提升，且不会增加任何成本。对于希望提升应用性能的 Jetson 开发者和客户而言，此次升级必不可少。现在就升级到 JetPack 6.2，充分释放 Jetson 平台的潜力。