三种主流模型部署框架YOLOv8推理演示

描述

 

前言

    深度学习模型部署有OpenVINO、ONNXRUNTIME、TensorRT三个主流框架,均支持Python与C++的SDK使用。对YOLOv5~YOLOv8的系列模型,均可以通过C++推理实现模型部署。这里以YOLOv8为例,演示了YOLOv8对象检测模型在OpenVINO、ONNXRUNTIME、TensorRT三个主流框架上C++推理演示效果。所有测试均基于我笔记本电脑,相关的硬件配置如下:

CPU i7
GPU3050ti
Win10 64

 

代码演示

OpenVINO + CPU部署、ONNXRUNTIME + GPU部署、TensorRT + GPU部署YOLOv8对象检测代码已经封装成C++类,通过客户端三行代码即可调用,演示效果分别如下:

  OpenVINO + CPU YOLOv8对象检测推理

 

  ONNXRUNTIME + GPU YOLOv8对象检测推理

 

  TensorRT + GPU YOLOv8对象检测推理

 

客户端初始化代码如下: 初始化OpenVINO+YOLOv8封装类实例

std::shared_ptrdetector(new YOLOv8OpenVINODetector());
初始化ONNXRUNTIEM+YOLOv8封装类实例
std::shared_ptrdetector(new YOLOv8ORTDetector());
初始化TensorRT+YOLOv8封装类实例
std::shared_ptrdetector(new YOLOv8TRTDetector());
客户端推理代码如下:
detector->initConfig("D:/python/my_yolov8_train_demo/yolov8n.engine", 0.4, 0.25f);
cv::VideoCapture capture("D:/bird_test/Pexels_Videos_2670.mp4");
cv::Mat frame;
std::vector results;
while (true) {
  bool ret = capture.read(frame);
  if (frame.empty()) {
    break;
  }
  detector->detect(frame, results);
  for (DetectResult dr : results) {
    cv::Rect box = dr.box;
    cv::putText(frame, classNames[dr.classId], cv::Point(box.tl().x, box.tl().y - 10), cv::FONT_HERSHEY_SIMPLEX, .5, cv::Scalar(0, 0, 0));
  }
  cv::imshow("YOLOv8 + TensorRT - by gloomyfish", frame);
  char c = cv::waitKey(1);
  if (c == 27) { // ESC 退出
    break;
  }
  // reset for next frame
  results.clear();
}
return 0;
}

 

  审核编辑:汤梓红

 
打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分