前言
深度学习模型部署有OpenVINO、ONNXRUNTIME、TensorRT三个主流框架,均支持Python与C++的SDK使用。对YOLOv5~YOLOv8的系列模型,均可以通过C++推理实现模型部署。这里以YOLOv8为例,演示了YOLOv8对象检测模型在OpenVINO、ONNXRUNTIME、TensorRT三个主流框架上C++推理演示效果。所有测试均基于我笔记本电脑,相关的硬件配置如下:
CPU i7 GPU3050ti Win10 64
代码演示
OpenVINO + CPU部署、ONNXRUNTIME + GPU部署、TensorRT + GPU部署YOLOv8对象检测代码已经封装成C++类,通过客户端三行代码即可调用,演示效果分别如下:
OpenVINO + CPU YOLOv8对象检测推理
ONNXRUNTIME + GPU YOLOv8对象检测推理
TensorRT + GPU YOLOv8对象检测推理
客户端初始化代码如下: 初始化OpenVINO+YOLOv8封装类实例
std::shared_ptrdetector(new YOLOv8OpenVINODetector());初始化ONNXRUNTIEM+YOLOv8封装类实例
std::shared_ptrdetector(new YOLOv8ORTDetector());初始化TensorRT+YOLOv8封装类实例
std::shared_ptrdetector(new YOLOv8TRTDetector());客户端推理代码如下:
detector->initConfig("D:/python/my_yolov8_train_demo/yolov8n.engine", 0.4, 0.25f); cv::VideoCapture capture("D:/bird_test/Pexels_Videos_2670.mp4"); cv::Mat frame; std::vectorresults; while (true) { bool ret = capture.read(frame); if (frame.empty()) { break; } detector->detect(frame, results); for (DetectResult dr : results) { cv::Rect box = dr.box; cv::putText(frame, classNames[dr.classId], cv::Point(box.tl().x, box.tl().y - 10), cv::FONT_HERSHEY_SIMPLEX, .5, cv::Scalar(0, 0, 0)); } cv::imshow("YOLOv8 + TensorRT - by gloomyfish", frame); char c = cv::waitKey(1); if (c == 27) { // ESC 退出 break; } // reset for next frame results.clear(); } return 0; }
审核编辑:汤梓红
全部0条评论
快来发表一下你的评论吧 !