YOLOv8 是 ultralytics 公司在 2023 年 1月 10 号开源的基于YOLOV5进行更新的 下一个重大更新版本,目前支持图像分类、物体检测和实例分割任务,鉴于Yolov5的良好表现,Yolov8在还没有开源时就收到了用户的广泛关注。其主要结构如下图所示:

本教程针对目标检测算法yolov8的训练和部署到EASY-EAI-Nano-TB(RV1126B)进行说明,而数据标注方法可以参考我们往期的文章。

通过git工具,在PC端克隆远程仓库(注:此处可能会因网络原因造成卡顿,请耐心等待),修改过算子后的yolov8仓库: https://github.com/airockchip/ultralytics_yolov8
同时,也可以通过百度网盘下载链接:
https://pan.baidu.com/s/1Tj58Y_GhZdPdFjgWzoeYow?pwd=1234 提取码: 1234
onnx模型需要转换为rknn模型才能在EASY-EAI-Nano-TB运行,所以需要先搭建rknn-toolkit模型转换工具的环境。当然tensorflow、tensroflow lite、caffe、darknet等也是通过类似的方法进行模型转换,只是本教程onnx为例。
3.1.1 概述
模型转换环境搭建流程如下所示:

3.1.2 下载模型转换工具
为了保证模型转换工具顺利运行,请下载网盘里“06.AI算法开发/01.rknn-toolkit2模型转换工具/rknn-toolkit2-v2.3.2/docker/docker_image/rknn-toolkit2-v2.3.2-cp38-docker.tar.gz”。
网盘下载链接:https://pan.baidu.com/s/1wUy-UBy9n81p7jlee_dBVA?pwd=1234提取码:1234。
3.1.3 把工具移到ubuntu20.04
把下载完成的docker镜像移到我司的虚拟机ubuntu20.04的rknn-toolkit2目录,如下图所示:

3.1.4 运行模型转换工具环境
在该目录打开终端

执行以下指令加载模型转换工具docker镜像:
docker load --input rknn-toolkit2-v2.3.2-cp38-docker.tar.gz
执行以下指令进入镜像bash环境:
docker run -t -i --privileged -v /dev/bus/usb:/dev/bus/usb -v /home/developer/rknn-toolkit2/model_convert_test:/test rknn-toolkit2:2.3.2-cp38 /bin/bash
现象如下图所示:

输入“python”加载python相关库,尝试加载rknn库,如下图环境测试成功:

至此,模型转换工具环境搭建完成。
EASY-EAI-Nano-TB支持.rknn后缀的模型的评估及运行,对于常见的tensorflow、tensroflow lite、caffe、darknet、onnx和Pytorch模型都可以通过我们提供的 toolkit 工具将其转换至 rknn 模型,而对于其他框架训练出来的模型,也可以先将其转至 onnx 模型再转换为 rknn 模型。 模型转换操作流程入下图所示:

下载百度网盘链接:https://pan.baidu.com/s/1THR_wnkHZXjDqIQ1R8mStg?pwd=1234 提取码:1234。把 yolov8_model_convert.tar.bz2和quant_dataset.zip解压到虚拟机,如下图所示:

执行以下指令把工作区域映射进docker镜像,其中/home/developer/rknn-toolkit2/model_convert为工作区域,/test为映射到docker镜像,/dev/bus/usb:/dev/bus/usb为映射usb到docker镜像:
docker run -t -i --privileged -v /dev/bus/usb:/dev/bus/usb -v /home/developer/rknn-toolkit2/model_convert:/test rknn-toolkit2:2.3.2-cp38 /bin/bash
执行成功如下图所示:

4.3.1 模型转换Demo目录结构
模型转换测试Demo由yolov8_model_convert和quant_dataset组成。Yolov8_model_convert存放软件脚本,quant_dataset存放量化模型所需的数据。如下图所示:

Yolov8_model_convert文件夹存放以下内容,如下图所示:

4.3.2 生成量化图片列表
在docker环境切换到模型转换工作目录:
cd /test/yolov8_model_convert
如下图所示:

执行gen_list.py生成量化图片列表:
python gen_list.py
命令行现象如下图所示:

生成“量化图片列表”如下文件夹所示:

4.3.3 onnx模型转换为rknn模型
rknn_convert.py脚本默认进行int8量化操作,脚本代码清单如下所示:
import sys from rknn.api import RKNN ONNX_MODEL = 'yolov8m.onnx' DATASET = './pic_path.txt' RKNN_MODEL = './yolov8m_rv1126b.rknn' QUANTIZE_ON = True if __name__ == '__main__': # Create RKNN object rknn = RKNN(verbose=False) # Pre-process config print('--> Config model') rknn.config(mean_values=[[0, 0, 0]], std_values=[ [255, 255, 255]], target_platform='rv1126b') print('done') # Load model print('--> Loading model') ret = rknn.load_onnx(model=ONNX_MODEL) if ret != 0: print('Load model failed!') exit(ret) print('done') # Build model print('--> Building model') ret = rknn.build(do_quantization=QUANTIZE_ON, dataset=DATASET) if ret != 0: print('Build model failed!') exit(ret) print('done') # Export rknn model print('--> Export rknn model') ret = rknn.export_rknn(RKNN_MODEL) if ret != 0: print('Export rknn model failed!') exit(ret) print('done') # Release rknn.release()
把onnx模型yolov8m.onnx放到yolov8_model_convert目录(后续用户使用自己的模型的时候,替换掉对应的onnx即可),并执行rknn_convert.py脚本进行模型转换:
python rknn_convert.py
生成模型如下图所示,此模型可以在rknn环境和EASY EAI Nano-TB环境运行:

本小节展示yolov8模型的在EASY EAI Nano-TB的部署过程,该模型仅经过简单训练供示例使用,不保证模型精度。
5.2.1 硬件准备
需准备EASY EAI Nano-TB开发板,Type-C数据线、网线。可以基于MobaXterm的ssh远程桌面登录调试。首先使用网线把EASY EAI Nano-TB的千兆以太网接口与连着路由LAN口的交换机或者路由器的LAN口连接,如下图所示。

以及串口连接。

5.2.2 开发环境准备
如果您初次阅读此文档,请阅读《入门指南/开发环境准备/Easy-Eai编译环境准备与更新》,并按照其相关的操作,进行编译环境的部署。
在PC端Ubuntu系统中执行run脚本,进入EASY-EAI编译环境,具体如下所示。
cd ~/develop_environment ./run.sh 2204

下载yolov8 C Demo示例文件。
百度网盘链接: ((https://pan.baidu.com/s/1gNhQXw_ewh73UIfJQxW7jg?pwd=1234 提取码:1234)。
下载程序包移至ubuntu环境后,执行以下指令解压:
tar -xvf yolov8_detect_C_demo.tar.bz2
下载解压后如下图所示:

在EASY-EAI 编译环境下,进入到对应的例程目录执行编译操作,具体命令如下所示:
cd /opt/nfsroot/rknn-src/RV1126B/yolov8_detect_C_demo ./build.sh

同时,把可执行程序目录yolov8_detect_demo_release/复制到开发板/userdata目录上:
cp yolov8_detect_demo_release/ /mnt/userdata/ -rf

通过串口调试或ssh调试,进入板卡后台,定位到例程部署的位置,如下所示:
cd /userdata/yolov8_detect_demo_release/

运行例程命令如下所示:
chmod 777 yolov8_detect_demo sudo ./yolov8_detect_demo yolov8m_rv1126b.rknn test.jpg
执行结果如下图所示,算法执行时间为92ms:

在EASY-EAI编译环境可以取回测试图片:
cp /mnt/userdata/yolov8_detect_demo_release/result.jpg .

测试结果如下图所示:

至此,yolov8目标检测例程已成功在板卡运行。
全部0条评论
快来发表一下你的评论吧 !