海光DCU完成Qwen3.5多模态MoE模型全量适配

描述

近日,海光DCU完成Qwen3.5-397B MoE旗舰多模态模型、Qwen3.5-35B-A3B MoE多模态模型全量适配、精度对齐与推理部署验证。本次适配依托FlagOS专属vLLM-plugin-FL多芯片插件实现落地。

FlagOS是一款专为异构AI芯片打造的开源、统一系统软件栈,支持AI模型一次开发即可无缝移植至各类硬件平台,大幅降低迁移与适配成本。FlagOS专属vLLM-plugin-FL多芯片插件完美兼容海光DCU芯片,全程无需修改模型接口、推理引擎逻辑与开发者调用代码,通过底层插件和算子替换实现无缝适配,大幅降低迁移成本,真正做到开箱即用。

目前两大版本模型在海光DCU算力平台实现无缝稳定运行,进一步夯实国产算力支撑大模型落地的核心能力,为行业提供开箱即用的国产化部署方案。

高效攻克适配瓶颈,多模态能力完整落地

Qwen3.5-35B-A3B参数350亿、激活参数30亿,原生支持262144 tokens超长上下文,采用门控Delta网络融合MoE架构,具备统一视觉/语言理解能力,覆盖图像、视频多模态输入,在推理、编码、Agent及视觉理解等核心场景实现全面跃升。

面对如此复杂的模型架构与多模态能力,精度对齐等技术挑战尤为突出。海光DCU依托底层软硬件优化实力,基于众智FlagOS全栈技术支撑,高效攻克适配瓶颈。经验证,Qwen3.5模型在海光DCU上推理稳定。

零改造部署,降低落地门槛

FlagOS将核心算子、编译器等组件内置模型框架,加载时自动生效,配合标准化Docker镜像与一键命令,彻底解决环境配置、性能优化等痛点。

开发者可通过官方文档获取部署源码,也可直接拉取魔搭、HuggingFace等社区的海光专属模型镜像、文件,无需额外迁移即可快速启用。迁移版Qwen3.5-FlagOS模型文件、代码和镜像,可一键直达部署资源:

HuggingFace平台:

https://huggingface.co/FlagRelease/Qwen3.5-35B-A3B-hygon-FlagOS

魔搭平台:

https://modelscope.cn/models/FlagRelease/Qwen3.5-35B-A3B-hygon-FlagOS

全栈技术协同,精度性能双达标

众智FlagOS构建的统一AI系统软件栈,为海光DCU提供全链路支撑,FlagRelease工具可半自动支撑实现适配、评测、打包全流程,极速推进适配落地,将传统数周周期压缩至数天。

经ERQA、AIME、GPQA Diamond等权威评测集验证,海光DCU适配后的Qwen3.5系列模型,在视觉理解、复杂推理、语言编码等核心能力上,与原生版本精度完全对齐,无业务效果折损,适配质量达到行业顶尖水平。

此次适配实现“一次开发、多芯复用”,凸显出国产算力承接高端大模型任务的常态化。海光DCU将持续深耕AI算力软硬件优化,联合FlagOS等生态伙伴,拓展更多主流大模型适配场景,打造稳定高效的国产算力底座,助力AI技术规模化、普惠化落地。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分