基于软件的Vitis AI 2.0加速解决方案

Vitis AI 2.0 来了！

Vitis AI 2.0 全面发布！作为赛灵思 FPGA 和自适应 SoC 上最综合全面的基于软件的 AI 加速解决方案，Vitis AI 继续为用户的 AI 产品贡献价值与竞争力。2.0 版本的 Vitis AI 解决方案更易于开发者使用，给边缘和数据中心带来进一步的性能提升。本篇文章将会介绍新产品特性，具体包括模型、软件工具、深度学习处理单元以及最新的性能信息。 

Vitis AI 2.0 版本的主要特性：

1

通过更好的CPU OP流程显著提升了模型覆盖率，同时支持了Tensorflow框架内推理机制；

2

新增20个先进的 AI 模型，用于 CNN 和 NLP 中的传感器融合、视频分析、超分辨率和情感估计应用；

3

在 VCK190 和 VCK5000 硬件平台上提供了灵活的DPU IP配置及新功能，包括支持 3D 卷积、depthwise卷积等，可满足更多需求。

1

易用性取得突破性进展

用户自定义OP ：

熟悉 Vitis AI 的用户了解，这个工具和 IP 有时会遇到不支持的网络层，导致部署失败。不受 Vitis AI 工具与 DPU IP 支持的这些网络层将被逐一划分给 CPU 处理器，用户需要手动处理 DPU 和 CPU 之间的数据交换，这个过程会影响用户体验。

在 Vitis AI 2.0 中，自定义 OP 流程提供更简便的模型部署途径。对于 DPU 不支持的 OP，这种方法在用 Graph Runner 对它们进行部署之前，先在量化流中定义这些 OP，然后完成注册和实现。通过这种方法，用户可以轻松部署完整模型，避免在流程中出错。

WeGO Tensorflow 推理流程：

新版本中在易用性方面取得突破性进展的另一体现是引入了全图形优化器 (WeGO) 流。这是将 Vitis AI 开发套件与该框架集成后，从 Tensorflow 直接推断的结果。在 Vitis AI 2.0 中，WeGO 可用于 TensorFlow 1.x 框架以及数据中心版本 DPU 上的AI推断。

WeGO 自动为 Vitis AI 量化器量化的模型执行子图划分，可以优化并加速数据中心端DPU子图应用。DPU 不支持的图形部分将拆分给 Tensorflow，在 CPU 上执行。整个过程对用户完全透明，依托对框架内原生的所有层的支持，以及数据中心端 DPU 上更优异的性能，整体易用性得到了进一步提升。

2

全新模型

AI 模型库已成为 Vitis AI 堆栈中用户最常使用的组件之一。它提供了能够适用于多种视觉场景的免费、开放且可再训练的优化模型。在 Vitis AI 2.0 版本中，免费模型的数量已增至 130 个，覆盖主流框架 Pytorch、Tensorflow、Tensorflow 2 和 Caffe 。

部分新增模型如 SOLO、Yolo-X、UltraFast、CLOC、SESR、 DRUNet、SSR、FADNet、PSMNet、FairMOT。这些模型可广泛用于目标检测、分割、激光雷达成像传感器融合、医疗成像处理、基于 2D 和 3D 的深度估算、用于情感检测再识别、客户满意度和开放信息提取的NLP模型等。除了这些经过训练的模型，新版本也提供了能够提高模型准确性与硬件性能的 OFA 搜索模型。

3

DPU 可扩展性和新硬件平台

Vitis AI 2.0 新增对 VCK190、VCK5000 量产板和新硬件 Alveo U55c 的支持。到目前，从嵌入式到数据中心，Vitis AI 全面支持所有主要的器件或加速器卡，包括 Zynq Ultrascale+ MPSoC、Versal ACPA 和 Alveo 卡。 

边缘和云平台上的 DPU IP 都已升级以实现更多功能，如 Conv3D、Depthwise Conv、h-sigmoid、h-swish 等。Versal Edge DPU 能从 Batch 1 到 Batch 5 支持 C32 模式和 C64 模式，加强 DPU 与定制应用集成的灵活性。 

除了上述新特性，赛灵思还改进了 Vitis AI 工具链的功能与性能，由此 AI 量化器与编译器均支持自定义 OP，且都支持更高版本的 Pytorch (v1.8-1.9) 和 Tensorflow (v2.4-2.6)。

AI 编译器、基于全新算法的Optimizer、AI  Library、VART、AI  Profiler和 WAA 都支持本次发布的新增模型和自定义OP 流程等。

审核编辑：郭婷