嵌入式AI加速器DRP-AI 详细介绍

描述

深度神经网络中使用的人工智能(AI)已经为IT领域提供了新的价值。虽然很多人期望用AI来实现嵌入式应用,但AI处理需要很多计算,由于性能不足或功耗需求大,很难适应使用CPU或GPU的传统解决方案的嵌入式设备。此外,人工智能正在不断发展,新的算法不时被开发出来。

在人工智能快速发展的过程中,瑞萨开发了人工智能加速器(DRP-AI)和软件(DRP-AI翻译器),既提供高性能又提供低功耗,并具有应对演变的能力。结合DRP-AI和DRP-AI翻译器,使AI推理成为可能,具有高功率效率,这是当前AI技术无法支持的。

AI模型可以随着DRP-AI翻译器的不断更新而扩展。

DRP-AI的特点

DRP-AI由AI-MAC(multiply-accumulate processor)和DRP(reconfigurable processor)组成。通过为卷积层和全连接层上的操作分配AI-MAC,并为预处理和池化层等其他复杂处理分配DRP,可以高速执行AI处理。

AI 加速器 DRP - AI 是瑞萨电子研发的一款动态可重构处理器(Dynamically Reconfigurable Processor),它将出色的能效与强大的灵活性集于一身,主要应用于嵌入式系统的 AI 推理。下面为你详细介绍其关键信息:

核心技术特性

  1. 架构设计
    • DRP - AI 由 AI - MAC(乘加处理器)和 DRP(可重构处理器)两部分构成。AI - MAC 专门负责卷积层和全连接层的运算,而 DRP 则承担预处理、池化层等复杂处理任务。
    • 该架构能够实现端到端的 AI 处理,把预处理、推理和后处理都集成到硬件中,从而降低了对 CPU 的依赖,提升了整体处理效率。
  2. 卓越性能与能效
    • 最新的 DRP - AI3 版本表现尤为突出,能效可达 10TOPS/W,推理性能最高能达到 15TOPS(如 RZ/V2N),相比前代产品,处理速度提升了 10 倍。
    • 以 RZ/V2L 为例,其能效为 1TOPS/W,能够以每秒 28 帧的速度运行 Tiny YOLOv2 模型。
  3. 灵活适配能力
    • 借助 DRP - AI Translator 和 DRP - AI TVM 工具,DRP - AI 可以支持多种 AI 框架,包括 ONNX、PyTorch、TensorFlow 等,并且能够动态适配不断更新的 AI 算法。
      嵌入式

有关DRP-AI的更多详细技术信息,
请参阅以下白色文件。白色白皮书:嵌入式AI加速器DRP-AI(PDF|中文(简体)
*附件:嵌入式ai加速器DRP-AI.pdf

虽然大多数AI加速器只专注于AI推理,并依赖CPU进行预处理和后处理,但DRP-AI将预处理和后处理以及AI推理集成到单个DRP-AI硬件中,以实现上级AI处理性能。
嵌入式

工具:DRP-AI TVM^* 一个^

DRP-AI TVM是一种工具,可用于将训练的AI模型转换为可以在DRP-AI上运行的格式。DRP-AI TVM将DRP-AI加速器应用于经过验证的ML编译器框架Apache TVM*2。这支持多个AI框架(ONNX,PyTorch,TensorFlow等)。此外,它还可以与CPU一起运行,允许运行更多的AI模型。

DRP-AI TVM支持的AI模型格式和产品(MPU)如下。

  • 输入文件格式(训练的AI模型):ONNX、PyTorch、TensorFlow
  • 产品:RZ/V2 M,RZ/V2 MA,RZ/V2 L,RZ/V2 H,RZ/V2 N

下表显示了DRP-AI TVM的下载站点、工具的简要描述和可交付成果的信息。

RZ/V2M、RZ/V2MARZ/V2LRZ/V2H、RZ/V2N
工具摘要说明DRP-AI TVM说明页(瑞萨网站)
工具详解入门示例代码AI评测软件DRP-AI TVM(GitHub)DRP-AI TVM解释页面(GitHub.IO)
DRP-AI驱动程序包含在DRP-AI支持包中在AI SDK中可用
Linux在Linux软件包中可用

软件:DRP-AI支持包

DRP-AI支持包提供了操作DRP-AI所需的驱动程序和指南。立即下载DRP-AI,体验从开放软件到设备实现的无缝AI开发。

嵌入式

(注1)DRP-AI TVM由EdgeCortix MERATM架构提供支持(注2)有关Apache TVM的更多信息,请参阅https://tvm.apache.org

软件与工具

RZ/V2H AI Software Development Kit

RZ/V series AI Apps & AI SDK (GitHub)

DRP-AI Extension Pack (Pruning Tool)

DRP-AI Translator i8 [V1.04]

DRP-AI TVM (GitHub)

RZ/V2H ROS2 Support Package

RZ/V2H ROS2 Sample Application Package

RZ/V Multi-OS Package

下载

RZ/V Getting Started with Flexible Software Package
Setting GPIO with Flexible Software Package
RZ/V FSP v3.1.0

RZ MPU Graphics Library Evaluation Version for RZ/V2

RZ MPU Security Package (Linux OS)

AI Navigator: IDE for AI Applications

RZ/V2H ISP Support Package

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分