案例分享 ▏【瑞芯微RK3588】HZHY-AI300G智能盒部署DeepSeek-R1模型实战指南

 

最近大语言模型圈都在蹲 DeepSeek 的 “限定版回复”，哪怕它无情地告知 20 遍服务器忙，咱也得执着地再求一次 。

 

 

这种对技术的执着追求，正是推动人工智能不断进步的动力。而为了让这个 “傲娇” 的模型能更顺畅地和我们交流，我们可以在HZHY-AI300G智能盒上部署DeepSeek-R1模型。

 

接下来，我们将一步步带你完成DeepSeek-R1模型的部署，这一过程不仅能让我们更直观地感受人工智能在嵌入式设备上的魅力，还能为后续的创新应用打下坚实基础。

 

01

操作步骤

 

 

获取RKNN-llm大语言模型工具包

从GitHub下载rknn-llm工具包，内含部署大语言模型（LLM）到Rockchip设备的代码及RKNN工具链使用方法。下载后，解压zip包到Linux电脑（虚拟机）的指定目录。

 

编译RKNN的C++ Demo

在解压后的工具包中，修改编译脚本，特别是交叉编译工具链的位置。执行编译脚本后，生成install文件夹，里面包含编译好的Demo文件。

 

 

 

下载瑞芯微已适配的DeepSeek-R1模型

通过瑞芯微提供的链接，下载适配RK3588平台的DeepSeek-R1模型。下载完成后，将模型文件与编译好的Demo一起拷贝到HZHY-AI300G智能盒上。

 

 

拷贝Demo和模型到HZHY-AI300G智能盒

将Demo和模型文件拷贝到智能盒的指定目录中，可通过USB或网络传输完成。

 

 

执行Demo调用DeepSeek-R1模型进行对话

 

在智能盒上设置环境变量并执行Demo命令，调用DeepSeek-R1模型进行对话，测试其功能。
 

02

模型功能展示

 

成功完成 DeepSeek - R1 模型的部署，就如同搭建起一座通往智能前沿领域的桥梁。借助 Demo 与模型展开交互，其卓越的智能特性得以充分彰显。不管是问到具有复杂性的数学问题，还是对于未来科技发展趋势的见解，模型都可凭借其先进的算法架构和强大的运算能力，迅速且精准地给出答案，并基于深度神经网络所具备的逻辑推理机制，条理分明地呈现出完整的解答。这些回答让我们认识到它不仅仅是一组运行在计算机系统中的程序代码，更是能够与人类进行深度思想交流、共同探讨未来发展方向的智能伙伴。 

 

 

 

通过本次演示，我们成功在HZHY-AI300G智能盒上部署了DeepSeek-R1模型，并通过Demo与模型进行了互动。从获取工具包、编译Demo、下载模型到最终执行，整个过程展示了如何将大语言模型部署到嵌入式设备上，并实现智能对话功能，期待大家在实践中尝试类似的部署操作，若在过程中遇到任何问题或有新的发现，欢迎随时来交流，让我们一起在技术的道路上共同进步。