奕斯伟计算RISC-V AI SoC芯片适配DeepSeek模型

描述

2025年开年,国产AI大模型DeepSeek以惊人的速度席卷科技产业,用户规模突破亿级。作为一款基于Transformer架构的先进推理模型,DeepSeek参数规模庞大,对硬件计算能力、内存容量和带宽都提出了极高要求。

奕斯伟计算在搭载了自研RISC-V AI SoC EIC77系列芯片——EIC7700X和EIC7702X的EVB开发板上,成功完成对DeepSeek模型的适配。

DeepSeek

搭载奕斯伟计算EIC77系列芯片的EVB板

EIC7700X/7702X内嵌NPU、GPU、DSP等硬件加速模块,配备大容量、高带宽的LPDDR5内存,确保在处理DeepSeek大规模模型时能够充分利用硬件资源,快速搬运大模型参数,从而显著提升推理效率。

测试结果显示(见下图),在运行7b参数规模的DeepSeek-distill-qwen模型时,搭载奕斯伟计算EIC7700X芯片的EVB开发板可达7 tokens/s的推理速度,搭载奕斯伟计算EIC7702X芯片的EVB开发板可达14 tokens/s的推理速度,展现出远超同类架构的高能效比。

DeepSeek

奕斯伟计算RISC-V AI SoC芯片

适配DeepSeek模型测试结果

EIC77系列芯片是奕斯伟计算自主研发的12nm RISC-V AI SoC,内嵌4核64位乱序执行RISC-V P550 CPU和自研高性能NPU, 以及DSP、 GPU,、H.264/H.265编解码器,芯片的AI处理性能可以达到20 TOPS INT8,可以支持32GB 存储容量的LPDDR5@6400,支持全栈浮点计算及大语言模型。

其中,双Die AI SoC EIC7702X内嵌8核64位乱序RISC-V P550 CPU,AI处理能力可达40 TOPS INT8,可支持64GB存储容量的LPDDR5@6400。

DeepSeek

EIC7700X模块框图

搭载EIC7700X/EIC7702X芯片的EVB板,拥有32/64 GB LPDDR存储容量,4/8通道Gen3 PCIe接口,支持SATA3、HDMI2.0、1000M Ethernet、USB3.2、MIPI等丰富接口,可以实现机器视觉、目标分类、目标定位、图像分割、动作姿态识别、自然语言处理等功能,可广泛应用于安全运营、智慧政务、工业检测、智慧教育、无人驾驶、机器人、无人机、智慧交通等应用场景。

除开发板外,EIC77系列产品还涵盖AI BOX、AI PC、服务器加速卡等多种产品形态,适用于云、边、端等多种工作场景,多维度实现AI处理。

EIC77系列芯片短时间内快速完成了对DeepSeek大模型的适配工作,充分展示了奕斯伟计算RISC-V AI SoC芯片的高算力利用率和开发软件工具的通用性与便捷性,能够适应多种深度学习算法模型,易于使用,体现了奕斯伟计算的芯片与工具链经过多代架构迭代后的工程实用性。

随着AI技术的快速发展,奕斯伟计算将沿着RISC-V+AI的技术路线,以更具性能优势、能效比更高的芯片与方案,不断拓展更多应用场景,为千行百业提供AI算力支持。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分