一
背景
目标检测是计算机视觉领域一项重要的任务。开集目标检测(Open-set Object Detection)与闭集目标检测(Closed-set Object Detection)是目标检测领域的两个概念。
之前我们已经适配了基于Transformer结构的开集目标检测经典之作:OWL-ViT(Open-World Localization with Vision Transformers)。去年大模型、多模态模型学术界的研究也取得了爆发式的进展,代表作是由IDEA-Research提出的GroundingDINO ,虽然GroundingDINO效果不错,但毕竟是学术界的成果,在边缘侧/端侧AI芯片上部署性能并不容易和理想。
到了2024年,是否学术界/工业级已经迭代出了更快、更强、更易部署的开集目标检测模型了呢?
当然有!它就是接下来走马观花分享的开集目标检测工业级力作:YOLO-World。同时我们还尝试在AX650N、AX620Q上完成端到端的部署,给行业内对边缘侧/端侧部署开集目标检测模型的爱好者提供一种新的思路。
二
YOLO-World介绍
● 官方在线DEMO:
https://www.yoloworld.cc/
● 论文传送门:
https://arxiv.org/pdf/2401.17270
● Github项目:
https://github.com/AILab-CVC/YOLO-World
YOLO-World由Tencent AI Lab、ARC Lab (AI Research Center) at Tencent PCG (Platform and Content Group) 以及华中科技大学电子信息与通信学院(School of EIC, Huazhong University of Science & Technology)合作提出的一个创新的实时开放词汇目标检测方法,它通过结合视觉-语言建模和大规模数据集上的预训练,增强了YOLO(You Only Look Once)检测器的开放词汇检测能力。
YOLO-World的主要贡献和特点包括:
● 开放词汇检测能力:YOLO-World能够检测超出预定义类别的更广泛对象,这对于现实世界的复杂场景非常有用,因为现实世界中的对象类别是多样且不断变化的;
● 高效率:YOLO-World在保持高准确度的同时,还实现了高效率的检测,这对于需要实时处理的应用场景(如自动驾驶、监控等)至关重要;
●Re-parameterizable Vision-Language Path Aggregation Network (RepVL-PAN):提出了一个新的网络结构RepVL-PAN,它通过更好的视觉-语义表示来增强文本和图像特征之间的交互;
● 区域-文本对比损失:引入了一种新的区域-文本对比损失函数,以促进模型学习区域和文本之间的对应关系,这对于开放词汇检测的性能至关重要;
● 预训练方案:论文提出了一种有效的预训练方案,通过在大规模检测、定位和图像-文本数据集上进行区域-文本对比学习,将检测数据、定位数据和图像-文本数据统一为区域-文本对;
● 零样本性能:在LVIS数据集上的实验结果表明,YOLO-World在零样本设置下取得了35.4的平均精度(AP),同时保持了52.0 FPS的高帧率,这显示了其在大规模词汇检测上的强大能力(精度&速度均领先 GLIP和Grounding DINO);
● 下游任务的适应性:预训练后的YOLO-World在多个下游任务上表现出色,包括对象检测和开放词汇实例分割,这表明了其良好的泛化能力;
● 开源代码和模型:论文承诺将预训练的权重和代码开源,以便于更多的实际应用和进一步的研究。
总的来说,YOLO-World的提出为实时目标检测领域带来了新的视角,特别是在处理开放词汇和提高模型泛化能力方面,它的创新方法和优异性能为未来的目标检测研究和应用奠定了基础。
三
爱芯派Pro(AX650N)
搭载爱芯元智第三代高能效比智能视觉芯片AX650N。集成了八核Cortex-A55 CPU,高能效比NPU,支持8K@30fps的ISP,以及H.264、H.265编解码的VPU。接口方面,AX650N支持64bit LPDDR4x,多路MIPI输入,千兆 Ethernet、USB、以及HDMI 2.0b输出,并支持32路1080p@30fps解码内置高算力和超强编解码能力,满足行业对高性能边缘智能计算的需求。通过内置多种深度学习算法,实现视觉结构化、行为分析、状态检测等应用,高效率支持基于Transformer结构的视觉大模型和语言类大模型。提供丰富的开发文档,方便用户进行二次开发。
四
爱芯派Zero(AX620Q)
搭载爱芯元智第四代智能视觉芯片AX620Q,该芯片集成新一代智眸4.0 AI-ISP,最高支持5MP@30fps实时真黑光,同时集成新一代通元4.0高性能、场景优化的NPU引擎,使得产品在低功耗、高画质、智能处理和分析等方面行业领先。提供稳定易用的SDK软件开发包,方便用户低成本评估、二次开发和快速量产。帮助用户在智能家居应用和其他AIoT项目中发挥更大的价值。
五
模型获得
相关材料
为方便大家转换,我们提供一些必要的参考文件:
https://pan.baidu.com/share/init?surl=HIXFkv_OjqbnTx-9WhZ00Q&pwd=y94b
文件名 | 描述 |
ax620e文件夹 | 包含适用于 AX630C/AX620Q的DEMO 和NPU模型文件axmodel |
ax650文件夹 | 包含适用于AX650A/AX650N 的DEMO和NPU模型文件 axmodel |
onnx_edit.py | onnx yolo world后处理裁剪脚本 |
ssd_horse.jpg | 测试图片 |
yolo_world_v2_s_xxx-sub.onnx | 已导出的ONNX模型 |
yolo_world.json | pulsar2 build依赖的配置文件 |
ONNX导出
虽然YOLO World相比Grounding DINO在工业部署上已经方便很多,但由于开集目标检测网络结构必然的复杂性,仍然存在一些Trick值得深究。因此我们熟悉的创新模型部署大佬(ZHEQIUSHUI)贡献了一些微不足道的修改(YOLO -World Optimize,https://github.com/ZHEQIUSHUI/YOLO-World/tree/not_einsum),在不影响精度的情况下,让后续的上板部署更佳便捷。
python环境安装
conda create --name=yolo_world python=py3.9 conda activate yolo_world
其他依赖安装
pip install torch==1.11.0+cpu torchvision==0.12.0+cpu torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cpu -i https://pypi.tuna.tsinghua.edu.cn/simple pip install mmcv==2.0.0 -i https://pypi.tuna.tsinghua.edu.cn/simple pip install mmdet==3.0.0 -i https://pypi.tuna.tsinghua.edu.cn/simple pip install onnx onnxruntime onnxsim -i https://pypi.tuna.tsinghua.edu.cn/simple pip install transformer -i https://pypi.tuna.tsinghua.edu.cn/simple pip install git+https://github.com/lvis-dataset/lvis-api.git -i https://pypi.tuna.tsinghua.edu.cn/simple
YOLO-World安装并下载权重
git clone -b not_einsum --recursive https://github.com/ZHEQIUSHUI/YOLO-World.git cd YOLO-World pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple wget https://huggingface.co/wondervictor/YOLO-World/resolve/main/yolo_world_s_clip_base_dual_vlpan_2e-3adamw_32xb16_100e_o365_goldg_train_pretrained-18bea4d2.pth
导出ONNX
python deploy/export_onnx.py configs/pretrain/yolo_world_v2_s_vlpan_bn_2e-3_100e_4x8gpus_obj365v1_goldg_train_lvis_minival.py ./yolo_world_v2_s_obj365v1_goldg_pretrain-55b943ea.pth --custom-text data/texts/coco_class_texts.json --opset 11 --device cpu --model-only --simplify
完成以上操作后,我们将得到yolo_world_v2_s_obj365v1_goldg_pretrain-55b943ea.onnx模型。
六
模型转换
ONNX模型优化
在使用pulsar2工具链转换之前,先对前一步获得的yolo_world_v2_s_xxx.onnx模型进行必要的计算图优化,便于提高模型部署效率。使用onnx_edit.py优化完成后,将获得yolo_world_v2_s_xxx-sub.onnx。
import onnx input_path = "work_dir/yolo_world_v2_s_obj365v1_goldg_pretrain-55b943ea.onnx" output_path = "work_dir/yolo_world_v2_s_obj365v1_goldg_pretrain-55b943ea-sub.onnx" input_names = ["images"] output_names = [ "onnx::Reshape_1191", "onnx::Reshape_1260", "onnx::Reshape_1329", "onnx::Reshape_1172", "onnx::Reshape_1241", "onnx::Reshape_1310", ] onnx.utils.extract_model(input_path, output_path, input_names, output_names)
Pulsar2编译
Pulsar2是新一代AI工具链,包含模型转换、离线量化、模型编译、异构调度四合一超强功能,进一步强化了网络模型高效部署的需求。在针对第三代、第四代NPU架构进行了深度定制优化的同时,也扩展了算子&模型支持的能力及范围,对Transformer结构的网络也有较好的支持。
一键完成图优化、离线量化、编译、对分功能。整个过程耗时不到2分钟,log信息量很大。
qtang@gpux2:$ pulsar2 build --input yolo_world_v2_s_obj365v1_goldg_pretrain-55b943ea-sub.onnx --config yolo-world.json --output_dir output --target_hardware AX650 --npu_mode NPU3 --output_name yolo_world_s_u8_npu3.axmodel 32 File(s) Loaded. Building onnx ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 0:00:00 Quant Config Table ┏━━━━━━━━┳━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━┳┓ ┃ Input ┃ Shape ┃ Dataset Directory ┃ Data Format ┃ Tensor Format ┃ Mean ┃ Std ┃ ┡━━━━━━━━╇━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━╇┩ │ images │ [1, 3, 640, 640] │ images │ Image │ BGR │ [0.0, 0.0, 0.0] │ [255.0, 255.0, 255.0]│ └────────┴──────────────────┴───────────────────┴─────────────┴┘ Transformer optimize level: 1 32 File(s) Loaded. [00:55:22] AX Set Float Op Table Pass Running ... Finished. [00:55:22] AX Set MixPrecision Pass Running ... Finished. [00:55:22] AX Transformer Optimize Pass Running ... Finished. [00:55:22] AX Set LN Quant dtype Quant Pass Running ... Finished. [00:55:22] AX Topk Operation Format Pass Running ... Finished. [00:55:22] AX Reset Mul Config Pass Running ... Finished. [00:55:22] AX Refine Operation Config Pass Running ... Finished. [00:55:22] AX Tanh Operation Format Pass Running ... Finished. [00:55:22] AX Confused Op Refine Pass Running ... Finished. [00:55:23] AX Quantization Fusion Pass Running ... Finished. [00:55:23] AX Quantization Simplify Pass Running ... Finished. [00:55:23] AX Parameter Quantization Pass Running ... Finished. Calibration Progress(Phase 1): 100%|██████████████████████| 32/32 [00:26<00:00, 1.23it/s] Finished. [0049] AX Quantization Alignment Pass Running ... Finished. [0049] AX Refine Int Parameter Pass Running ... Finished. Finished. [0050] AX Passive Parameter Quantization Running ... Finished. [0050] AX Parameter Baking Pass Running ... Finished. ...... Network Quantization Finished. quant.axmodel export success: 50_output/yolo_world_s/quant/quant_axmodel.onnx Building native ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 100% 000 ...... tiling op... ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 253/253 000 new_ddr_tensor = [] build op serially... ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 613/613 0:00:07 build op... ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1198/1198 0:00:00 ....... 2024-04-11 00:56:03.533 | INFO | yasched.test_onepass2467 - max_cycle = 4,302,999 build jobs ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 3796/3796 0:00:00 2024-04-11 00:56:08.932 | INFO | yamain.command.build1110 - fuse 1 subgraph(s)
编译输出的文件,保存在output文件夹中,其中 yolo_world_s_u8_npu3.axmodel将用于在AX650N Demo板上运行。
七
上版部署
AX-Samples
开源项目AX-Samples实现了常见的深度学习开源算法在爱芯元智的AI SoC上的示例代码,方便社区开发者进行快速评估和适配。
最新版本已开始提供AX650系列(AX650A、AX650N)、AX620E系列(AX630C、AX620E)的NPU示例,其中也包含了本文介绍的YOLO-World参考代码。
https://github.com/AXERA-TECH/ax-samples
运行
/opt/test # ./ax_yolo_world -i ssd_horse.jpg -m yolo_world_s_u8_npu3.axmodel -------------------------------------- model file : yolo_world_s_u8_npu3.axmodel image file : ssd_horse.jpg img_h, img_w : 640 640 -------------------------------------- Engine creating handle is done. Engine creating context is done. Engine get io info is done. Engine alloc io is done. Engine push input is done. -------------------------------------- post process cost time:3.80 ms -------------------------------------- Repeat 1 times, avg time 4.52 ms, max_time 4.52 ms, min_time 4.52 ms -------------------------------------- detection num: 6 17: 98%, [ 216, 71, 420, 374], horse 16: 93%, [ 144, 204, 197, 347], dog 13: 86%, [ 469, 149, 499, 178], bench 0: 76%, [ 431, 124, 451, 178], person 0: 74%, [ 271, 13, 348, 236], person 2: 69%, [ 0, 105, 133, 196], car --------------------------------------
AX650N运行YOLO-World S耗时 <5 ms,完全满足实时运行需求。
性能统计
目前我们已经完成了基于AX650N、AX630C、AX620Q芯片平台的YOLO-World适配。
Platform | FPS |
AX650N | 220 |
AX630C | 33 |
AX620Q | 24 |
八
结束语
随着Open-Vocabulary Object Detection网络模型的快速发展,越来越多有趣的多模态AI应用将逐渐从云端服务迁移到边缘侧设备和端侧设备。
审核编辑:刘清
全部0条评论
快来发表一下你的评论吧 !