×

OpenPPL高性能深度学习推理平台

消耗积分:0 | 格式:zip | 大小:13.54 MB | 2022-06-17

郑成枝

分享资料个

授权协议 Apache
开发语言 C/C++
操作系统 跨平台
软件类型 开源软件
所属分类 神经网络/人工智能、 机器学习/深度学习

软件简介

OpenPPL 是基于自研高性能算子库的推理引擎，拥有极致调优的性能；提供云原生环境下 的 AI 模型多后端部署能力，支持 OpenMMLab 等深度学习模型的高效部署。

架构如下：

pYYBAGKn_7eAL4DJAAB27-zeyBY637.png

高性能

设计微架构友好的任务/数据/指令等多级并行策略，自研 NV GPU、 x86 CPU 计算库，满足部署场景对神经网络推理、常用图像处理的性能需求

  • 支持 GPU T4 平台 FP16 推理
  • 支持 CPU x86 平台 FP32 推理
  • 核心算子优化，平均性能领先业界

OpenMMLab 部署

支持 OpenMMLab 检测、分类、分割、超分等系列前沿模型，同时提供模型前后处理所需图像处理算子

  • 遵循 ONNX 开放标准，提供 ONNX 转换支持
  • 支持网络动态特性
  • 提供 MMCV 算子高性能实现

云上多后端部署

面向云端异构推理场景，支持多平台部署

  • 支持 x86 FMA & AVX512、NV Turing 架构
  • 支持异构设备并行推理
 

下载并关注上传者 低至0.43元/天 开通VIP 免费下载

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !