使用 Kria SoM 部署基于边缘的人工智能

支撑工业 4.0 的关键技术之一是在边缘实施机器学习推理的能力。根据应用程序的需要，机器学习推理可以分析遥测数据以对预测性维护进行建模，以防止出现停线情况。或者，应用程序可以检查生产线上制造或包装的物品。

对生产线上的项目进行目视检查的能力需要一个能够以高帧率（>30fps 帧/秒）运行图像处理和机器学习算法的高性能系统。能够实施能够进行此类处理的解决方案也需要强大的功能。这正是 Xilinx 的 Xilinx ® Kria™ K26 系统级模块 (SoM) 和 KV260 Vision AI 入门套件等产品可以提供帮助的地方。

Xilinx ® Kria ™ SoM 和 Vision AI 入门套件

Xilinx ® Kria ™ K26 SoM及其 KV260 Vision AI 入门套件支持视觉和 AI 算法的快速原型设计。Kria K26 SoM 为设计工程师提供了一个高性能异构系统，它结合了高性能 Arm ®处理器和高级可编程逻辑。这种组合允许应用程序在处理系统或可编程逻辑中得到最佳实现。这种融合的结果是一个基于边缘的解决方案，它提供了一个响应迅速、确定性和节能的解决方案。

Kria 不同于传统的 Xilinx 产品，因为它是作为 SoM 交付的。SoM 不仅结合了集成电路，还包括必要的支持易失性和非易失性存储器、时钟和电源。Kria K26 SoM 由 SoC (XCK26) 以及 4GB DDR4 内存、16GB eMMC、512Mb QSPI、TPM 安全模块和必要的电源基础设施组成（图 1）。双 240 针连接器可分出 245 个 I/O，可轻松连接您的应用程序。

图 1：Xilinx Kria K26 SoM 允许设计工程师利用可编程逻辑的并行特性与高性能 Arm ®处理器内核相结合。（来源：贸泽电子）

为帮助设计工程师着手开展工作，Xilinx提供了Kria KV260 Vision AI 入门套件。Kria KV260 Vision AI Starter Kit 包含一个用于 SoM 的载卡，它提供以下接口：

3个MIPI接口

USB 3

HDMI

显示端口

国标以太网

模式

这些接口使设计工程师能够创建复杂的基于视觉的 AI 解决方案。这些解决方案可以支持从 MIPI 到 USB 摄像头和以太网实时流协议 (RTSP) 以及传统 HDMI 和 DisplayPort 接收器的一系列视频源和接收器。

该入门套件还附带一系列应用程序，展示了开始开发基于视觉的 AI 应用程序是多么容易。这些应用包括可以检测人脸的智能相机；多流跟踪和识别；缺陷检测；和自然语言处理。Kria 开箱即用架构的优点之一是能够重新编译不同的网络并替换示例网络。

设计工程师可以使用 Vitis ™ AI 来利用常用的 AI 开发框架，例如 Caffe、TensorFlow 和 Pytorch。Vitis AI 支持在边缘和云端加速 AI 推理算法。Vitis AI 技术堆栈支持常用框架，并提供在 Xilinx 设备上开发和部署 ML/AI 算法所需的一切，包括 Kria K26 SoM。

Vitis AI 堆栈的核心是 Xilinx 深度学习处理器单元 (DPU)，它在可编程逻辑中实现，并针对卷积神经网络的实现进行了优化（图 2）。可用于实现VGG、ResNet、GoogLeNet、YOLO、SSD、MobileNet、FPN等网络。

图 2：Vitis AI Stack 工作流提供了在 Xilinx DPU 上部署深度学习推理应用程序的过程。（来源：赛灵思）

为了利用可编程逻辑的并行特性，DPU 执行已使用 AI 量化器量化为 int-8 的网络。

在硬件中实现 DPU 模型并使用 Vitis AI 训练和编译网络后，就可以使用 Vitis 开发软件以创建完整的最终解决方案（图 3）。

图 3：Xilinx Vitis AI 部署模型图（来源：Xilinx）

制造应用用例

让我们更深入地了解 Xilinx Kria SoM 如何用于制造应用。创建制造应用程序不一定需要任何可编程逻辑设计。但是，它需要软件开发以及使用 Xilinx 的 Vitis AI 训练和编译新机器学习模型的能力。

Kria K26 SoM 和 KV260 Vision 入门套件非常适合需要快速图像处理的应用，例如检测标签是否已正确贴在生产线上的装运箱上。在此示例中，设计工程师使用 Kria K26 SoM 在生产线上检查包裹，并通过 Mobilenet 网络正确识别盒子上标签的位置。可以从包含正确和错误标签位置的图像数据集中训练该网络（图 4和图 5）。

图 4：使用 Mobilenet 网络的正确标签位置示例（来源：贸泽电子）

图 5：使用 Mobilenet 网络的错误标签位置示例（来源：贸泽电子）

训练完成后，该网络可以部署在 Kria K26 SoM 上，结合 Linux GStreamer 支持，实时检查生产线上的包裹（图 6）。如果检测到贴错标签的盒子，部署的应用程序可以做出适当的响应。

图 6：Xilinx 正确识别正确标签的示例（来源：贸泽电子）

结论

生产线是快节奏的环境。在发货前检测制造或包装缺陷的能力对于提高交付和客户满意度至关重要。然而，自动化检测设备需要在不减慢生产线速度的情况下进行处理和决策。Xilinx Kria K26 SoM 和 Kria KV260 Vision AI 入门套件等产品可以提供帮助。

设计工程师可以使用 Kria KV260 视觉 AI 入门套件快速开始开发视觉和 AI 原型设计解决方案并演示概念验证。Kria K26 SoM 实现了设计的可移植性，从概念、原型设计到最终设计解决方案，所需的更改极少，除了与载卡的接口。

使用 Kria K26 SoM 可以降低与创建具有复杂异构 FPGA、存储器和电源架构的嵌入式系统解决方案相关的开发成本和风险。通过结合 Vitis AI 堆栈和开箱即用的解决方案，Kria K26 SoM 使开发团队能够通过利用可编程逻辑的高性能特性来创建复杂的视觉和基于 AI 的解决方案，而无需进行可编程逻辑设计专家。

学到更多

如果您想了解有关 Kria SOM 的更多信息并查看为工业应用程序创建 AI 解决方案的分步演练，请参阅使用 KRIA SoM项目文章部署基于边缘的 AI。

 

审核编辑 黄昊宇