飞腾CPU携手DeepSeek大模型,双芯联动确保全系列稳定运行

描述

近日,飞腾腾云S5000C和飞腾腾锐D3000成功实现对DeepSeek全系列大模型的端到端支持,覆盖数据中心和终端场景,本地部署的推理效率与国外同类产品架构解决方案相当。

近年来,飞腾积极拥抱AI浪潮,致力于推动国产芯片与AI技术的深度融合,去年7月,飞腾携手生态伙伴打造并发布了 全栈国产化智算中心解决方案,为众多行业提供从端到云的智能化算力服务。2024年,DeepSeek-V2.5 234B大模型便已在飞腾腾云S5000C平台成功实现稳定运行。基于飞腾腾云S5000C的设备搭配8块国产AI卡,其整体性能可达到国外平台性能的80%左右,已支撑行业用户在项目中使用。

今年春节期间,DeepSeek发布了最新的DeepSeek-V3和R1版本后,凭借其卓越的性能和极高的性价比,迅速成为科技领域的焦点,为开发者和企业提供了更高效、更灵活的私有化部署解决方案。飞腾技术团队第一时间在AI实验室进行了其在飞腾腾云S5000C平台和飞腾腾锐D3000上本地部署验证,形成整体解决方案,助力用户构建端到端国产平台DeepSeek大模型智算环境。

在数据中心侧,基于飞腾腾云S5000C的服务器可以与多款AI加速卡配合实现DeepSeek蒸馏版和全量版部署。飞腾AI实验室在单机8卡服务器平台已进行蒸馏版DeepSeek-R1-Distill-Llama-70B版本测试,实测推理速度可达到22tokens/s,本地部署的推理效率与国外同类产品架构解决方案相当。完整版DeepSeek R1 671B模型采用分布式推理框架,基于四机32卡AI服务器集群运行可部署成功,为企业级私有化部署提供完善的软硬件解决方案。

在用户终端侧,基于飞腾腾锐D3000的台式机可以本地部署DeepSeek-R1 7B蒸馏版模型,搭配1张国产推理卡,实现AI PC能力,助力用户建立安全可靠的本地知识助手。

飞腾平台已实现端到端支持DeepSeek全系列、众多开源和国产头部大模型的本地化部署,为企业级和个人应用提供全国产化、软硬一体、性价比高、安全、开放的全栈解决方案,与行业客户和生态伙伴一同助力行业的数字化转型和智能化升级!

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分