望获实时Linux系统运行DeepSeek R1大模型,成本低至千元内!

电子说

1.4w人已加入

描述

这个春节,科技界热闹非凡,DeepSeek的横空出世犹如一颗重磅炸弹,迅速引爆全球AI市场。

DeepSeek凭借其V3和新推出的R1两款模型,实现了与OpenAI 4o和o1比肩的性能,同时成本仅为十分之一,为AI技术的普及提供了经济高效的解决方案。DeepSeek的崛起,不仅标志着中国AI技术的突破,更预示着全球AI市场将迎来一场新革命。

将其部署在望获实时Linux与瑞芯微RK3588平台上,能够充分释放其在边缘计算和工业控制领域的巨大潜力,为智能化转型提供强有力的技术支撑。

以下是详细的部署步骤,帮助您快速实现这一国产技术组合的落地应用。

硬件准备:

RK3588开发板:京博航友善NanoPC-T6(预装望获实时Linux)

工作主机:ubuntu笔记本电脑

软件准备:

瑞芯微rkllm-toolkit工具

部署步骤

一、拉取模型

从Hugging Face拉取DeepSeek-R1的1.5B蒸馏模型到x86平台:

嵌入式

二、配置模型转换脚本

在rknn-llm/rkllm-toolkit/examples/test.py中,修改如下内容:

嵌入式

三、模型转换

执行模型转换脚本,等待转换完成:

嵌入式

四、部署模型

使用scp命令将转换得到的DeepSeek-R1-Distill-Qwen-1.5B.rkllm文件拷贝到RK3588平台:

嵌入式

五、生成运行文件

在RK3588平台,进入rknn-llm/rkllm-runtime/examples/rkllm_api_demo目录,生成llm_demo运行文件:

嵌入式

六、运行模型

运行llm_demo,并指定DeepSeek-R1-Distill-Qwen-1.5B.rkllm的路径。

嵌入式

七、对话测试

在user : 后输入对话内容,测试模型的运行效果。

嵌入式嵌入式嵌入式

通过将DeepSeek部署在望获实时Linux与RK3588的平台上,您可以轻松实现边缘智能的高效落地。这一技术组合提升了工业控制与边缘计算的智能化水平,为未来的工业应用开辟了新的可能性。如果您在部署过程中遇到任何问题,欢迎随时与我们联系!

关于望获实时Linux系统

望获实时Linux系统是国科环宇重点研发的嵌入式实时操作系统,具备强实时、高可靠、功能安全、智能化、兼容性强和国产生态的特性。不同于传统的微内核实时操作系统,完整兼容Linux生态环境的同时,提供强大的行业中间件支持,助力客户快速完成行业解决方案的构建。望获实时Linux系统致力于国产基础软硬件的产业链构建,与国产主流芯片及硬件平台适配,提供完整的国产化解决方案,保证功能和性能的同时,避免关键领域的卡脖子问题。

                                
审核编辑 黄宇

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分