1 GHz Arm® Cortex®-M85 MCU上部署AI模型

描述

本文将手把手带你实现实时人脸检测,并将完整流程开源。打通从数据采集、模型训练、量化转换,到集成部署的每一个环节。我们已为你准备好了数据集、训练代码、转换工具链与RT-Thread工程。只需跟随步骤,即可体验在1 GHz Arm Cortex-M85 MCU上部署AI模型。(公众号后台回复RA8P1,加入交流群)

目录

 


 

应用效果预览


 

流程图


 

环境准备


 

训练模型


 

ai模型转换


 

ai模型部署


 

网盘资源及培训视频

1 应用效果预览 

AI

2 流程图

提示:可以上下滑动

AIAI

3 环境准备

3.1  硬件清单

开发板:RA8P1开发板(Titan Board)。

AI

或复制链接购买:https://item.taobao.com/item.htm?ft=t&id=987791181903


 

传感器/外设:RGB565屏幕和摄像头

3.2  软件与⼯具

RT-Thread Studio

Python 3.9–3.11,pip包:pytorch等ai库

Yolo-Fastest

3.3  RT-Thread Studio

在 RT-Thread Studio 中下载 Titan-Board SDK 及相关依赖(下载Titan-Board SDK 时,其他依赖会自动下载)。

AI

网盘中提供了下载好的 Titan-Board SDK,可以通过导入的方式安装 SDK。

AI

选择 SDK 压缩包。

AI

导入成功。

AI

提示:如果在烧录时检测不到 DAP-Link,按下方链接中的步骤操作即可解决。

https://rt-thread-studio.github.io/sdk-bsp-ra8p1-titan-board/latest/faq/FAQ_page/README_zh.html

3.4.  Python 环境

参考https://github.com/AlexeyAB/darknet?tab=readme-ov-file#how-to-compile-on-windows-using-cmake

由于需要安装vs 2022、cmake等工具,下载需要的时间过久,我这边有编译好的darknet.exe,可以使用cpu直接训练模型,如果需要使用gpu训练模型,可以按照darknet官方的安装步骤重新编译。

编译前注意修改配置文件,根据自己的需求修改。

  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

option(CMAKE_VERBOSE_MAKEFILE "Create verbose makefile" ON)option(CUDA_VERBOSE_BUILD "Create verbose CUDA build" OFF)option(BUILD_SHARED_LIBS "Create dark as a shared library" ON)option(BUILD_AS_CPP "Build Darknet using C++ compiler also for C files" OFF)option(BUILD_USELIB_TRACK "Build uselib_track" ON)option(MANUALLY_EXPORT_TRACK_OPTFLOW "Manually export the TRACK_OPTFLOW=1 define" OFF)option(ENABLE_OPENCV "Enable OpenCV integration" OFF)option(ENABLE_CUDA "Enable CUDA support" OFF)option(ENABLE_CUDNN "Enable CUDNN" OFF)option(ENABLE_CUDNN_HALF "Enable CUDNN Half precision" OFF)option(ENABLE_ZED_CAMERA "Enable ZED Camera support" OFF)option(ENABLE_VCPKG_INTEGRATION "Enable VCPKG integration" OFF)

3.5.  Conda 安装

双击安装miniconda,注意这一步要选择添加环境变量

AI

3.6.  安装 Python 环境

导入环境,convert用于将darknet模型转为tflite模型并量化。

3.6.1.  convert

下面是安装方式,二选一

解压(推荐)

将convert.zip解压到anaconda安装目录的envs中。

AI

安装keras-YOLOv3-model-set环境。

  •  
  •  
  •  
  •  
  •  

conda create -n convert python=3.8conda activate convertcd keras-YOLOv3-model-setpip install Cythonpip install -r requirements.txt

3.6.2.  ruhmi

安装ruhmi环境, 用于将量化后的tflite模型转为能在开发板上部署的模型。

  •  
  •  
  •  
  •  
  •  

conda create -n ruhmi python=3.10conda activate ruhmicd ruhmi-framework-mcupip install "install\mera-2.4.0+pkg.179-cp310-cp310-win_amd64.whl"pip install onnx==1.17.0 tflite==2.18.0

4 训练模型

4.1  收集数据

使用labelimg创建数据集。

AI

创建好的数据集可以使用Yolo-Fastest\scripts\xml2yolo.py来转为yolo格式。同时会得到会得到train.txt和val.txt的生成路径。

  •  

python scripts/xml2yolo.py

修改voc.names。

  •  

face

得到anchor。

  •  

darknet.exe detector  calc_anchors datasets/voc.data  -num_of_clusters 9 -width 192 -height 192

得到的anchor如下,每个人每次生成都不一样。

  •  

anchors =   3,  5,   6, 10,  11, 17,  14, 30,  25, 25,  25, 52,  43, 54,  58, 90,  94, 117

修改yolo-fastest.cfg。

  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  

width=192height=192channels=1
# 两个yolo都要改[convolutional]size=1stride=1pad=1filters=18activation=linear
[yolo]mask = 0,1,2anchors =  3,  5,   6, 10,  11, 17,  14, 30,  25, 25,  25, 52,  43, 54,  58, 90,  94,117classes=1

我提取收集整理好了人脸识别数据,位于datasets中。

AI

4.2  训练

使用我编译好的darknet.exe

  •  
  •  

cd Yolo-fastestdarknet.exe detector train datasets/voc.data  datasets/yolo-fastest.cfg   -dont_show

大概训练2小时才会有好一些的模型结果(GPU启动训练的情况下)。

AIAI

5 AI部署转换 

训练模型结束后,会在Yolo-fastest/backup中保存模型权重。我们选择最后一轮的权重,用于转换。

AI

5.1 darknet->tflite

转换代码需要的参数如下。

AI

我们需要复制训练好的权重、cfg文件到keras-YOLOv3-model-set下,然后运行,这里需要稍等一会,需要大概6分钟。

  •  
  •  
  •  

conda activate convertcd /path/to/keras-YOLOv3-model-setpython tools/model_converter/conver2tflite_and_int8.py --config_path yolo-fastest.cfg --weights_path yolo-fastest_last.weights --output_path face.h5 --int8_img_path ../Yolo-Fastest/datasets/face/data_1/train/image/ --save_tflite_path face_int8.tflite -f

最终会得到face_int8.tflite模型。

AI

5.2 tflite->ruhmi

将上⼀步得到的tflite文件复制到ruhmi-framework-mcu/models下,然后运行以下指令

  •  
  •  
  •  

conda activate ruhmicd /path/to/ruhmi-framework-mcu/scriptspython mcu_deploy.py --ethos --ref_data ../models/ deploy_qtzed_ethos

AI

6 AI部署模型

在 RT-Thread Studio 中创建示例工程。

AI

创建 ai 示例工程。

AI

tflite->ruhmi会在ruhmi-framework-mcu/scripts下生成可部署模型⽂件,路径如下

AI

接下来,删除 *_io_data.* 和hal_entry.c,然后将剩下的文件拷贝到刚刚创建的示例工程的Titan_npu_ai_face_detection/src/models下。

编译然后下载。

AIAI

检测效果如下

AI

7 网盘资源及培训视频

网盘资源链接:https://pan.baidu.com/s/16OwyiITyhET6k-BtPnJokw?pwd=d983

培训视频链接:

https://www.bilibili.com/video/BV1nsUSBFE8U/?spm_id_from=333.1387.collection.video_card.click

 

 

 

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分