OpenVINO工具套件预处理API的概念及使用方法

 

1.1概述

在《基于OpenVINO 2022.1实现YOLOv5推理程序》中详述了：

■ YOLOv5框架的安装和如何导出YOLOv5.onnx模型

■ OpenVINO 2022.1的安装以及如何编写YOLOv5模型的推理程序

本文将介绍如何使用OpenVINO 2022.1的预处理API，进一步提升YOLOv5模型的推理计算性能。

1.2什么是预处理API函数？

OpenVINO 2022.1之前版本不提供OpenVINO Runtime原生的用于数据预处理的API函数1 ，如图1-1所示，开发者必须通过第三方库(例如：OpenCV)来实现数据预处理。

图1-1  OpenVINO Runtime预处理API

假设没有预处理API，那么输入数据的预处理操作只能放在CPU上实现，CPU完成数据预处理后，再将预处理后的数据传给iGPU、VPU等AI加速计算设备进行推理计算。

有了预处理API后，就能将预处理操作集成到在模型执行图中，这样iGPU、VPU 或即将发布的Intel独立显卡都能进行数据预处理，无需依赖CPU，提高了执行效率，如图1-2所示。

图1-2  预处理OpenCV vs OpenVINO

1.3数据预处理的典型操作

由于输入数据的Shape、Precision等特征，与模型输入张量的要求不一致，所以需要通过预处理，将输入数据按照模型输入张量的要求进行转换，如图1-3所示。

图1-3  输入数据 vs 模型输入张量

从图1-3中可见，数据预处理的典型操作有：

■改变输入数据的形状：[720, 1280,3] → [1, 3, 640, 640]

■ 改变输入数据的精度：U8 → f32

■ 改变输入数据的颜色通道顺序：BGR → RGB

■ 改变输入数据的布局(layout)：HWC → NCHW

■ 归一化数据：减去均值(mean)，除以标准差(std)

1.4数据预处理API的使用方法

对应数据预处理的典型操作，OpenVINO 工具套件预处理API提供了相应的类，方便开发者快速使用，其主要流程有6步2 ，如图1-4所示，依次是：

1  实例化PrePostProcessor对象；

2  申明输入数据的信息

3  指定模型的数据布局(layout)

4  设置模型输出张量的信息

5  定义预处理的具体步骤

6  将预处理步骤集成到模型

图1-4  使用预处理API的流程

本文将按照上述顺序依次介绍。

1.4.1 实例化PrePostProcessor对象

实例化PrePostProcessor对象的Python代码，如代码清单1-1所示。

代码清单1-1  实例化PrePostProcessor对象

1.4.2 申明输入数据的信息

申明输入数据的信息的Python代码，如代码清单1-2所示。

代码清单1-2  申明输入数据的信息

1.4.3 指定模型的数据布局(layout)

指定模型的数据布局(layout) 的Python代码，如代码清单1-3所示。

代码清单1-3  指定模型的数据布局(layout)

1.4.4 设置模型输出张量的信息

设置模型输出张量的信息的Python代码，如代码清单1-4所示。

代码清单1-4  设置模型输出张量的信息

1.4.5 定义预处理的具体步骤

定义预处理的具体步骤的Python代码，如代码清单1-5所示。

代码清单1-5  定义预处理的具体步骤

 

1.4.6 将预处理步骤集成到模型

将预处理步骤集成到模型的Python代码，如代码清单1-6所示。

代码清单1-6  将预处理步骤集成到模型

1.4.7 将集成了预处理步骤的模型导出

使用serialize()函数，可以将集成了预处理步骤的模型导出，方便后续调用，如代码清单1-7所示。

代码清单1-7  导出包含预处理步骤的模型

使用Netron打开导出模型，可以看到预处理步骤已经集成到执行图中，如图1-5所示。

图1-5  预处理集成到执行图中

导出集成预处理模型的完整源代码：

1.5完整范例代码和测试结果

本文随附使用OpenVINO 2022.1预处理API实现YOLOv5s推理程序的完整源代码，参见：https://gitee.com/ppov-nuc/yolov5_infer/blob/main/infer_with_openvino_preprocess.py。

表1-1 使用OpenVINO 2022.1预处理API和

使用OpenCV实现预处理的性能对比

操作系统：Windows10；Python版本：3.8；OpenVINO版本：2022.1

模型：yolov5s.onnx

执行命令, 将yolov5s.onnx转换为FP16精度的yolov5s.xml后

mo --input_model yolov5s.onnx --data_type FP16

操作系统：Windows10；Python版本：3.8；OpenVINO版本：2022.1

模型：yolov5s.xml @ FP16

1.6总结

本文完整介绍了什么是OpenVINO 工具套件预处理API和为什么推荐使用预处理API将预处理操作集成到模型执行图中，然后详细介绍了使用步骤并提供了完整范例源代码。

通过运行源代码，可以看到，使用了OpenVINO 工具套件预处理API，使输入数据预处理操作不再依赖CPU，可以由推理设备(如GPU/VPU)完成，提高了推理计算效率，减少了运行时间。

 

原文标题：使用OpenVINO™ 预处理API进一步提升YOLOv5推理性能 | 开发者实战

文章出处：【微信公众号：英特尔物联网】欢迎添加关注！文章转载请注明出处。

　　审核编辑：汤梓红