部署DeepSeek R1于AX650N与AX630C平台

背景

春节前，国产大模型 DeepSeek 横空出世，迅速成为AI领域的焦点。作为端侧AI能效比优异的 AX650N、AX630C 芯片平台早已在节前完成 DeepSeek R1 蒸馏版本 1.5B、7B、8B 的适配，并在春节期间，海外开发者已基于 AX630C 平台顺利复现，DeepSeek 端侧部署顺利出海！

本文将通过走马观花的方式，分享基于爱芯元智的 AX650N、AX630C 芯片适配 DeepSeek R1 系列模型的最新进展，向业界对端侧大模型部署的开发者提供一种新的思路，促进社区对端侧大模型的探索。

DeepSeek R1 介绍

DeepSeek R1 是幻方量化旗下大模型公司 DeepSeek 研发的系列推理模型，自诞生起就备受瞩目。它采用强化学习训练，推理时包含大量反思和验证，思维链长度可达数万字。在数学、代码以及复杂逻辑推理任务上，DeepSeek R1 有着出色的表现，能取得媲美 OpenAI o1 的推理效果，还能为用户展现完整的思考过程。

官方链接：https://www.deepseek.com/

论文：https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

DeepSeek R1 部署

考虑到端侧AI芯片资源的局限性，我们选择部署 DeepSeek-R1-Distill-Qwen-1.5B 版本进行展示。感兴趣的朋友可以通过我们的Pulsar2工具链

（https://pulsar2-docs.readthedocs.io/zh-cn/latest/appendix/build_llm.html）

转换 DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Llama-8B 等模型。

为了方便快速尝鲜，我们已经开源基于 AX650N、AX630C 适配好的模型。

 

模型获取

可以从 Huggingface 上获取：

https://huggingface.co/AXERA-TECH/DeepSeek-R1-Distill-Qwen-1.5B

 

上板运行

AX650N：

AX630C：

结束语

随着大语言模型小型化的快速发展，特别是 DeepSeek 推动了大模型的技术平权，相信从今年开始越来越多有趣的大模型应用将逐渐从云端服务迁移到端侧设备，高效AI推理芯片的应用也将迎来更广阔的天地。而爱芯元智作为专注于边端侧的智能芯片平台，必将大有用武之地。

更多开源大模型适配案例请参考：

https://github.com/AXERA-TECH/ax-llm。