瑞萨电子MCU/MPU产品助力AIoT设计

人工智能（Artificial Intelligence，AI）是一门让机器进行感知、理解、推理和学习的技术，核心的实现方式是机器学习或深度学习，即利用大量数据训练模型，使其对图像、语音、文字、传感器信号等输入数据做出准确的判断和预测。AI的推理可以在云端服务器、边缘节点或终端设备上完成，不同的部署部位决定了系统的时延、隐私性、带宽、功耗等关键特性。

1.什么是AIoT

AIoT（Artificial Intelligence of Things）是AI与物联网（IoT）的结合，通过将AI技术应用于IoT设备和系统，AIoT实现了更智能、更高效的自动化解决方案。AIoT中主要的AI技术包括端侧AI与边缘AI。

端侧AI直接在设备内部进行AI计算，例如手机、摄像头、手表等。这种方法能够让设备自主完成数据处理，不必依赖云端或边缘节点进行数据分析和反馈。端侧AI在数据源处直接处理数据，能够显著降低延迟，具有快速响应能力，这对于实时性要求较高的应用领域，如智能家居、智能健康、智慧城市等，具有重大意义。

边缘AI则是将模型推理放在靠近数据源的网络边缘节点上进行，如边缘服务器、智能路由器、工业计算机等，这些节点拥有比单个设备更强的算力。边缘设备通常采用MPU或专用AI加速硬件，能够处理更复杂的任务，如深度学习模型的训练和推理。通过在边缘进行数据处理，边缘AI能够有效降低中心服务器的负担，并减少从设备到云端的数据传输量，这对于处理大量数据流的应用至关重要。

2.TinyML：驱动AIoT发展的核心力量

Tiny Machine Learning，即TinyML，是将机器学习（Machine Learning，ML）或深度学习（Deep Learning，DL）模型压缩后，能够部署在MCU/MPU中完成推理的技术。TinyML模型体积极小，量级通常在KB到MB之间；功耗低，通常为毫瓦（mW）量级甚至更低；实时性强，推理时延大概在毫秒（ms）级别。不依赖网络连接，数据在本地设备中完成感知、推理和决策。

TinyML的以上特性解决了传统云端AI的实时性差、功耗大、网络依赖等痛点，将AI模型搬进每一台微型终端中，驱动AIoT的发展。

3.MCU/MPU：

驱动AIoT运行的核心硬件

在AIoT中，MCU和MPU具有不同的应用场景和功能，这源于MCU和MPU在设计和资源配置上的差异。

MCU在AIoT中主要应用场景为端侧AI。由于端侧AI在源头转换数据，因此可以将延迟降到最低，优化对时间敏感应用的处理，同时减少了数据传输与网络运营成本，提高能源与成本效率。端侧AI减弱了网络依赖性，因此最大程度减少了数据和流动相关的安全隐患，将设备上数据处理与硬件信任根紧密耦合，提高了数据隐私性和安全性。

MPU因其强大计算能力、支持多任务处理能力、实时数据处理和分析能力，在端侧AI和边缘AI中均有应用。边缘AI的处理对象统一于实时信号。普遍认可边缘AI的三类处理对象包括图像数据、声音数据和实时信号数据，在图像处理、音频分析、工业自动化等领域有着广泛应用。

4.瑞萨电子助力AIoT设计

瑞萨电子为AI/ML开发人员提供了一个综合解决方案堆栈。丰富的产品系列涵盖IoT的方方面面，包括感知、连接、计算和执行功能。此外，特别开发的软件、工具、解决方案以及合作伙伴生态系统，为您的AIoT设计提供加速助力。

MCU：

RA8P1系列MCU搭载高性能Arm Cortex-M85，支持Helium矢量扩展，集成了Ethos-U55 NPU，单芯片可实现0.25TOPS的AI算力和超过7300CoreMarks的CPU性能。

RA8P1 - 1GHz Arm Cortex-M85 and Ethos-U55 NPU Based AI Microcontroller | Renesas

https://www.renesas.com/en/products/ra8p1?queryID=fe74bb5e81f8206cab25772dc6991d33

MPU：

RZ/V系列MPU内置瑞萨电子独家AI加速器“DRP（Dynamically Reconfigurable Processor)-AI” ，兼具高AI推理性能和低功耗特性，具有从0.5到 80TOPS的广泛扩展性，为各种AI应用提供高附加值。

RZ/V Embedded AI MPUs | Renesas

https://www.renesas.com/en/products/microcontrollers-microprocessors/rz-mpus/rzv-embedded-ai-mpus?queryID=63e387e407c81a3bad0eb6912187c7d7

AI/ML软件：

1Reality AI tools

Reality AI tools可以帮助用户基于高级信号处理生成和构建TinyML/Edge AI模型。用户可以自动探索传感器数据并生成优化模型。

Reality AI tools全面兼容瑞萨MCU/MPU平台，自动生成高效且小巧的机器学习模型，并利用云计算为嵌入式传感器开发代码，广泛应用于新能源、家电和工业物联网领域。

Reality AI Tools | Renesas

https://www.renesas.com/en/software-tool/reality-ai-tools?queryID=458325da3e744dded8b0ef38ed73fe82

图1.Reality AI工作流程

2RUHMI

瑞萨电子RUHMI（Robust Unified Heterogenous Model Integration）框架是一款集成了嵌入式人工智能编译器和e2 studio的人工智能工具，全面支持RA8P1系列MCU，充分适配Ethos U55，提供图形化界面和命令行接口，可在几分钟内生成高度优化的模型，并在瑞萨电子嵌入式处理器上高效运行。

RUHMI Framework | Renesas

https://www.renesas.com/en/software-tool/ruhmi-framework?queryID=e27b42a4accd8b7bd18276ecb8838516

图2.RUHMI工作流程

3e-AI

e-AI全面支持瑞萨MCU/MPU平台，能够将 PyTorch、Keras、TensorFlow的已训练模型，或TensorFlow Lite的8位量化模型，转换后轻松导入到e² studio（Renesas的集成开发环境）中，适用于能够在终端设备上运行相对小规模的AI应用。

e-AI Solution | Renesas

https://www.renesas.com/en/key-technologies/artificial-intelligence/e-ai?queryID=271da70f00e035e0c36fa579e201ef36

图3.e-AI工作流程

e-AI Translator将Pytorch与TensorFlow等开源机器学习/深度学习框架中已训练好的AI网络转换为MCU/MPU开发环境可使用的格式；e-AI Checker 基于e-AI Translator的输出结果，并参考所选MCU/MP的信息，计算ROM/RAM的占用大小以及推理执行的处理时间。

4DRP-AI Translator

DRP‑AI Translator是一款能够从已训练的AI模型（ONNX格式）生成可在Renesas RZ/V系列MPU上运行的目标代码的工具，通过对已训练的AI模型的计算图结构进行优化，并采用FP16和int8量化，能够最大限度降低内存访问次数，实现高效、快速的AI推理处理。用户也可以根据实际工程需求添加前处理或后处理，例如归一化、尺寸调整等，这些前后处理工作也由DRP以高速方式完成。

AI Tool：DRP-AI Translator | Renesas

https://www.renesas.com/en/key-technologies/artificial-intelligence/ai-tool-drp-ai-translator?queryID=13ef7a96004c7a5bc54c1659288f1260

图4.DRP-AI Translator工作流程

只需在Linux PC上指定ONNX文件并运行DRP‑AI Translator，即可轻松生成可直接在评估板上实现的目标代码。

5DRP-AI TVM

Apache TVM是Apache软件基金会（ASF）旗下的开源项目，致力于建设一个由机器学习、编译器与系统架构领域的专家和从业者组成的多元化社区。TVM是一个可访问、可扩展及自动化的开源框架，为任意硬件平台优化当前和新兴的机器学习模型。

DRP‑AI TVM通过将DRP‑AI Translator嵌入 Apache TVM开源深度学习编译器框架，实现了从已训练的AI模型生成面向Renesas RZ/V系列MPU的运行时可执行文件的功能。

当模型层能够被DRP‑AI Translator成功转换时，这些层将在DRP‑AI硬件加速器上执行；对于未能转换的层，系统会自动将其调度至CPU处理，因而能够兼容并支持更丰富的模型结构。

AI Tool: DRP-AI TVM | Renesas

https://www.renesas.com/en/key-technologies/artificial-intelligence/ai-tool-drp-ai-tvm?queryID=cc0df44f133b095434271a20dcfc9d77

图5.DRP-AI TVM工作流程

5.总结

AIoT将AI推理搬到物联网终端或边缘节点，实现低时延、低功耗和高隐私的智能化应用。TinyML通过模型压缩，使AI模型在资源受限的MCU上本地运行；而MPU搭配专用加速器（如DRP‑AI）则提供更强算力，支持边缘AI的复杂任务。瑞萨电子提供从MCU/MPU到完整的开发工具链（Reality AI、RUHMI、e‑AI、DRP‑AI Translator/TVM），帮助用户快速完成AIoT方案的感知、模型生成、编译和部署。简言之，AIoT+TinyML+瑞萨全栈生态，实现了端侧和边缘智能的高效落地。