瑞萨RZ/V2H平台支持部署离线版DeepSeek -R1大语言模型

 

1 DeepSeek在端侧设备的应用场景

 

DeepSeek大语言模型（LLM）可用于理解人类语言的交互方式，思考，并给出合适的回应。同时，通过结合RAG（Retrieval-Augmented Generation，检索增强生成）技术，可以从用户定制知识数据库检索信息，将其作为提示输入给LLM，LLM通过将这些额外的知识与自己的语言技能相结合，可以撰写更准确、更具时效性且更贴合具体需求的文字，提供面向某个具体领域的专业应答。在AI概念和端侧AI技术火热的当下，瑞萨半导体推出的面向端侧AI应用的高性能MPU，也可以部署DeepSeek-R1模型。在我们预想的应用场景中，我们可以在部署了DeepSeek-R1模型和RAG定制数据库的瑞萨MPU电路板上，在不联网的情况下，实现如下应用：

 

• 向AI模型投喂高端家电、车辆等复杂电子产品的用户手册，对这些模型进行训练，以创建一个AI助手，能够自动执行某些复杂功能的设置。如此，用户就不必为了使用某一样新奇的功能而花费大量时间阅读手册。相对于传统的语音识别应用需要特定的命令或者唤醒词，引入LLM对口头语言的表达进行分析，可以让硬件设备更容易理解用户的需求。
• 面向骑行爱好者，让AI助手在自行车电脑中运行，这样用户在骑自行车时就可以获得个性化的导览/导航以及其他信息。
• AI智能眼镜&耳机，直接理解用户口语表达的命令，以日常使用的人类语言与电子系统进行交互。
• 实时的翻译机，在不联网的应用场景中，利用AI做一些简单的语言转换，甚至可以作为人与宠物之间的交互。例如，宠物猫和宠物狗的语言表达相对于人类语言更简单，可以把它们的语言转换成人类理解和思考的方式表现出来。

 

为此，我们在瑞萨定位于AI应用的MPU芯片RZ/V2H，适配了DeepSeek-R1:1.5B的LLM模型，以支撑这些潜在的AI应用。

 

2 瑞萨RZ/V2H硬件平台简介

 

在演示用例中，使用瑞萨官方的RZ/V2H-EVK开发板，如图1所示。

 

图1 瑞萨官方RZ/V2H-EVK开发板
 

板载丰富的外扩资源，如图2所示。

图2 RZ/V2H-EVK开发板板载资源
 

关于RZ/V2H-EVK开发板的更多详情，可访问瑞萨官网产品主页：（您可复制下方链接至浏览器查看）

 

RZ/V2H-EVK - RZ/V2H四核视觉AI MPU评测套件 | Renesas瑞萨电子

https://www.renesas.cn/zh/products/microcontrollers-microprocessors/rz-mpus/rzv2h-evk-rzv2h-quad-core-vision-ai-mpu-evaluation-kit

 

其中，RZ/V2H集成了7个处理器核心，分别是4个Cortex-A55@1.8GHz，2个Cortex-R8@800MHz，1个Cortex-M33@200MHz，同时还集成了瑞萨自主研发的AI计算专用加速引擎DRP-AI3和图像计算加速引擎DRP，有系统框图，如图3所示。

图3 RZ/V2H处理器系统框图

 

3 下载、配置和启动DeepSeek-R1
 

RZ/V2H-EVK开发板已经适配了Yocto Linux操作系统，在此基础上，使用Ollama官方推荐的方式，可以完成部署并运行DeepSeek-R1大模型。

 

使用可以联通外部网络的路由器，用网线将RZ/V2H-EVK电路板和PC连起来，确保RZ/V2H-EVK电路板和电脑可以联网，并可互相访问。对RZ-V2H-EVK电路板的配置工作，将通过电脑完成。
 

在电脑上，通过Tera Term工具（或者其它SSH工具）连接到开发板。在终端中，使用脚本安装并启动Ollama服务：

 

 

通过Ollama启动DeepSeek-R1模型。注意，在第一次运行命令时，会自行下载DeepSeek-R1模型文件。在此过程中，需要确保联网情况良好。

 

 

下载完成之后，自行启动DeepSeek-R1模型。后续运行这个命令载入模型时，就不需要联网了。
 

载入模型成功后，可以看到命令行中有提示信息“Send a message（/? for help）”。此时，可以向运行在RZ/V2H-EVK电路板上的离线版DeepSeek提问了。
 

图4 在RZ/V2H上启动DeepSeek-R1
 

4 运行演示
 

在启动DeepSeek-R1后，我们问了第一个问题"介绍一下你自己"，接下来，请看RZ/V2H-EVK电路板的反应：

https://mp.weixin.qq.com/s/y61pMJCA1Vw5t7YK4OO5Jw
 

从视频中可以看到，DeepSeek-R1大模型已经成功运行在RZ/V2H-EVK电路板上。

 

接下来，让我们期待更多基于瑞萨产品和DeepSeek开发出的有趣应用吧。

 

 

免费样品申请

https://jsj.top/f/AgUyYV

 

瑞萨技术论坛

https://community-ja.renesas.com/zh/forums-groups/mcu-mpu/

 

瑞萨中文社区

https://www.ramcu.cn/