OpenVINO工具包部署YOLO9模型实现实时目标检测

YOLOv9引入了可编程梯度信息 (PGI) 和广义高效层聚合网络 (GELAN) 等开创性技术，不仅增强了模型的学习能力，还确保了在整个检测过程中保留关键信息，从而实现了卓越的准确性和性能。该模型在效率、准确性和适应性方面都有显著提高，大大超过了现有的实时目标检测器，在MS COCO数据集上树立了新的标杆。官方代码目前已经开源。本文我们将结合之前开发的LabVIEW  AI工具包for OpenVINO 工具包部署YOLO9模型实现实时目标检测。

项目源码：

https://pan.baidu.com/s/1DXX4ZhoRgu9h6roJXxAfzA?pwd=yiku

前言

01

LabVIEW AI工具包for OpenVINO

OpenVINO 是一个由英特尔开发的开源框架，可以加速计算机视觉和深度学习推理在边缘设备上的应用。它提供了一套全面的工具和预训练模型，支持快速开发和部署，优化了多种英特尔硬件的性能，包括CPU、GPU、FPGA和VPU。OpenVINO 支持跨平台部署，使得开发者能够无缝集成最先进的人工智能能力到其应用中，从而实现高效、低延迟的推理性能。

OpenVINO 2023.3版本是最新长期支持版本，引入了额外的框架更改，优化了生成式AI模型的特性，并增强了对现有平台的支持。在大型语言模型推理、KV缓存处理和低精度运行时间方面做了新的优化。此外，该版本新增了对新平台的全面支持，包括在CPU上对int4和int8权重压缩的支持，并优化了首个令牌生成的延迟。用户可以很方便地在英特尔CPU、GPU(intel)、FPGA、VPU等硬件上跑AI应用。

LabVIEW AI工具包 for OpenVINO 是我们（VIRobotics团队）基于OpenVINO 2023.3LTS开发的一款AI推理加速工具包，整个工具包作为LabVIEW的插件，可以显著提升在LabVIEW环境中开发和部署计算机视觉及深度学习应用的效率和性能。利用OpenVINO 在加速边缘设备上的深度学习推理的能力，使得用户能够在LabVIEW的图形编程环境中直接访问高效的AI模型推理。这不仅简化了开发流程，降低了对专业深度学习知识的需求，还能充分发挥英特尔硬件（CPU、GPU(intel)、FPGA、VPU）在AI推理方面的优势，从而实现更快的处理速度、更低的延迟以及更高的准确度。

02

YOLOv9模型

YOLOv9 在COCO 数据集上的表现体现了其在实时物体检测方面的显著进步，为各种模型大小设定了新的基准。具体如下图所示。

COCO 数据集：

https://docs.ultralytics.com/zh/datasets/detect/coco/

如下图所示，在MS COCO数据集上实时目标检测器的比较中，基于GELAN和PGI的目标检测方法在目标检测性能方面超越了所有先前的从头开始训练的方法。在准确性方面，新方法优于使用大型数据集预训练的RT DETR，同时也优于基于深度卷积设计的YOLO MS在参数利用方面的表现。

YOLOv9环境搭建

1. 部署本项目时所用环境

操作系统：Windows 64

LabVIEW：2018及以上 64位版本

AI视觉工具包： 

techforce_lib_opencv_cpu-1.0.0.26.vip

LabVIEW AI工具包for OpenVINO：

virobotics_lib_openvino-1.0.0.36.vip

LabVIEW Object_Detection工具包

2. 软件下载及安装

在Windows上搭建OpenVINO LabVIEW开发环境

https://github.com/VIRobotics/openvino_handbook/blob/main/doc/Install_OpenVINO_LabVIEW_Windows.md

3. LabVIEW Object_Detection工具包下载与安装

在下载链接：  

https://pan.baidu.com/s/1bBQuc6gA8SQ5HPfBp1p83A?pwd=yiku

中下载并安装Object_Detection工具包

项目实践

01

项目简介

本文我们将结合之前开发的 LabVIEW OpenVINO 工具包和LabVIEW Object_Detection工具包部署YOLOv9模型实现视频流及实时目标检测。

整个项目工程如下，项目模型以YOLOv9-C为例

model：yolov9 IR模型文件及coco.names文件

video：测试视频

yolov9_openvino_video.vi：yolov9检测视频流

yolov9_openvino_video.vi：yolov9实时目标检测

02

加载YOLOv9模型实现实时目标检测

1. 模型及其他初始化：

加载yolov9模型及coco.name文件并实现必要参数的初始化；

2. 摄像头图像采集：

启动摄像头，设置相机分辨率并采集图像

3. 实时推理并绘制检测结果：

进行图像预处理，推理，并获取推理结果，将结果绘制出来，以图片控件的形式显示在前面板上；

4. 释放资源：

释放相机资源及模型所占内存等资源

5. 完整源码；

03

运行效果

请读者先下载本文的源代码到本地

项目源码链接：

https://pan.baidu.com/s/1DXX4ZhoRgu9h6roJXxAfzA?pwd=yiku

按照前文YOLOv9环境搭建安装相关工具包，然后运行 yolov9_openvino_video.vi（运行之前请确保电脑已联网），运行结果如下图所示：

审核编辑：刘清