×

Anakin高性能异构AI推理引擎

消耗积分:2 | 格式:zip | 大小:4.30 MB | 2022-06-21

彭友旺

分享资料个

授权协议 Apache-2.0
开发语言 C/C++
操作系统 跨平台
软件类型 开源软件

软件简介

Anakin 是一款跨平台的高性能推理引擎,最初是由百度工程师开发的,是工业产品的大规模应用。您可以在 x86-cpu、arm、nv-gpu、amd-gpu、bitmain 和 cambricon 设备上运行 Anakin。

下载安装命令

## CPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安装命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

特征

  • 灵活性

    Anakin 是一个跨平台的高性能推理引擎,支持广泛的神经网络架构和不同的硬件平台。在 GPU / x86 / ARM 平台上运行 Anakin 很容易。

    Anakin 已与 NVIDIA TensorRT 集成,并开放了集成 API 的这一部分以提供服务,开发人员可以直接调用该 API 或根据需要对其进行修改,这将更加灵活地满足开发要求。

  • 高性能

    为了充分发挥硬件的性能,该团队在不同级别优化了前向预测。

    • 自动图形融合。给定算法下所有性能优化的目标是使 ALU 尽可能繁忙,操作员融合可以有效减少内存访问并保持 ALU 繁忙。

    • 内存重用。前向预测是一种单向计算,该团队在不同运算符的输入和输出之间重用内存,从而减少了整体内存开销。

    • 装配级优化。Sabre 是 Anakin 的基础DNN库,在装配级别进行了深度优化。

 

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !