灵汐KA200芯片完成DeepSeek-R1系列模型适配

描述

重要消息     

节后开工第一天,灵汐科技团队联合类脑技术社区(“脑启社区“)的开发者,仅用半天时间就完成了DeepSeek-R1系列模型在灵汐KA200芯片及相关智算卡的适配,助力国产大模型与类脑智能硬件系统的深度融合。据 “脑启社区“的开发者反馈,在DeepSeek-R1-Distill-Qwen的1.5B、7B等系列模型测试中,模型在4K上下文情形下体验顺畅,具备交付客户使用的能力。后续,灵汐科技也将联合产业生态伙伴及脑启社区,适时发布云上服务。

灵汐科技的类脑芯片领启KA200(-S) 基于全新的存算一体、众核并行、异构融合架构,能高效支持深度学习神经网络、生物神经网络和大规模脑仿真。单芯片集成 25 万神经元和 2500 万突触(稠密模式),可扩展支持 200 万神经元和 20 亿突触的集成计算(稀疏模式),支持混合精度计算(48TOPS@INT8 和 24TFLOPS@FP16)。不仅有强大的视频图像处理和算法支持能力,也具有对各类LLM语言大模型及多模态模型的支撑能力。基于灵汐科技KA200的产品系列,已经具备了“云、边、端“全覆盖的大模型部署和高性能、低功耗的推理部署能力。灵汐的相关产品已在电力能源、交通、城市治理、低空智能装备等领域形成了规模化商用。

近期DeepSeek大模型引发了业界的广泛讨论,有相关评论方认为DeepSeek的大模型技术路线创新有较大影响,而未来国产化、支撑大模型的新型架构芯片则会对产业形成更具颠覆性的效应。2024年初开始,类似存算一体架构芯片及其对大模型推理的提升效果,也引发了众多研究讨论。灵汐科技“存算一体、众核并行、 异构融合”的芯片架构及其应用不断迭代,将为业内带来新的潜在突破。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分