M-Vision在LinuxRT下使用OpenVINO加速AI推理

作者：齐磊 浙江科博达工业有限公司

01M-Vision 简介

M-Vision 是科博达集团工程技术中心独立自主研发的零代码机器视觉平台：

聚焦解决客户实际痛点，为客户提供一站式的解决方案

在传统机器视觉算法的基础上融入了 AI 深度学习

当前 M-Vision 已广泛应用于字符识别，缺陷检测、尺寸测量、目标定位等多种工业细分场景，赋能智能装备。

 

02LinuxRT 简介

在工业控制领域，实时(Real Time) 是一个核心要求。LinuxRT，又称实时 Linux，是针对实时性需求而优化的 Linux 内核。LinuxRT 的目标是将 Linux 内核转变为一个实时操作系统，以满足各种实时应用的需求。

LinuxRT 较传统 Linux 在系统结构上做了如下调整：在 Linux 进程和硬件中断之间，本来由 Linux 内核完全控制,现在在 Linux 内核和硬件中断的地方加上了一个 RTLinux 内核的控制。

LinuxRT 系统结构图

03为什么 M-Vision 使用 LinuxRT 

代替 Windows

M-Vision 选用了 LinuxRT 而不是通用操作系统，是因为：

实时性能优势：传统的 Windows 和 Linux 系统属于通用性操作系统，注重的是数据的吞吐量而不是系统响应时间从而不具备更好的实时性，Linux RT 实时系统实时性和可靠性更强。

成本优势：支持安装 Linux RT 的硬件设备成本极低，几百元的 x86 计算设备(例如 N5105 )即可支持开发和部署（可完全 PK 传统 ARM 等嵌入式）。

生态优势：x86 + Linux 的软件生态非常强大，很容易复用当前各种成熟的机器视觉和 AI 算法，开发方便快捷。

本文将介绍在 LinuxRT 下，使用 OpenVINO 加速 AI 推理计算。

04M-Vision 安装与部署

M-Vision 安装与部署流程图如下：

图2 流程图

1. 安装 LinuxRT 系统

将 Linux RT 操作系统镜像文件拷贝到启动介质里面用来制作启动介质。最后启动介质插入目标设备进入 Bios 设置随屏幕提示选择设置。

图3 Bios 界面图

图4 安装结果图

2. 下载 Linux 版 OpenVINO 2022.3，并将所需的 lib 文件夹中所有文件拷贝到 /usr/lib 目录。

找到并点击下载 OpenVINO Toolkit 的链接，在下载页面上，选择适用于 Linux 系统的版本，并确保选择OpenVINO 2022.3：

图5 OpenVINO 下载

3. 安装 pugixml 组件，并将 .so 库文件全部拷贝到 /usr/lib

前往 pugixml 的官方 GitHub 仓库下载最新的源代码（复制链接到浏览器）：

https://github.com/zeux/pugixml

安装 tbb 组件，将 .so 库文件拷贝到对应 lib 文件夹。

复制下面链接到浏览器前往英特尔开源页面下载 TBB 的最新源代码：

https://github.com/oneapi-src/oneTBB

4. Windows 下安装 M-Train

* 点击链接查看 [ M-Vision标准版4.5.zip ] ，或访问奶牛快传 cowtransfer.com 输入传输口令 drvvk7；

*点击链接查看 [ M-Train.rar ] ，或访问奶牛快传 cowtransfer.com 输入传输口令 0rg32x 查看；

图6 M-Train 下载图

5.在Linux RT系统下部署M-Vision

图7 M-Vision 部署结果图

05LinuxRT 系统与通用操作系统下

使用 M-Vision 对比

在工业视觉中有根据产品的特征来识别产品不同型号的，下面的一个案例是通过铁环上不同的特征点来识别不同型号铁环的。此案例可以让我们清晰的看到在两个不同的系统下所花费时间的不同。

1.  收集每种类型铁环的特征点进行标注。（在进行少量人工标注后可以再导入相同类型图片进行自动标注）

图8 M-Train 标注

2.  对标注图像进行训练，训练结束进行测试，以及导出模型文件和 *.MV 文件应用到 M-Vision 的 AI 识别中。

图9 M-Train 训练

图10 MV 文件导入图

3.  AI 识别一张图片，不同系统下 M-Vision 的处理时间是不一样的，LinuxRT 下使用时间 270ms，Windows 下使用时间 448ms，如下所示：

图11 Linux RT 下处理图片（270ms）

图12 Windows 下处理图片（448ms）

对比如下表：

在这个 AI 识别中我们节省了大约 170ms 的运行时间，以此类推我们知道如果更多的产品或者更多的特征点需要识别，我们的 LinuxRT 下使用我们的 M-Vision 的优势将会更好的体现出来。这种优势主要是因为 LinuxRT（Real-time Linux）是专门针对实时应用设计的 Linux 内核，具有更好的实时性能。对于对实时性要求较高的机器视觉应用，使用 LinuxRT 可以更好地满足实时处理的需求，并且。使用 LinuxRT 可以灵活地进行自定义和调试，更加适应不同的机器视觉应用需求。

06总结与展望

我们在 Linux RT 系统下使用 OpenVINO 将 AI 视觉检测能力集成到 M-Vision 零代码机器视觉平台，结合  M-Train工业无代码训练平台（可进行自动标注训练），可以高效便捷的对应工业质检领域碎片化的挑战、让更多的智能化装备快速落地，实现无人化“黑灯工厂”的目标。

接下来，M-Vision 还会支持高性价比的集成显卡和高性能的英特尔 独立显卡，实现 M-Vision 在 AI 工业质检领域全场景覆盖。

审核编辑：汤梓红