来源:Gitee
国产 AI 芯片厂商燧原科技,近日以开源组织身份正式入驻 Gitee。
燧原科技成立于 2018 年,总部位于上海张江,是国内同时具备高性能云端训练与推理能力的 AI 芯片企业。
成立近 8 年来,公司自研迭代了四代架构 5 款云端 AI 芯片,产品体系覆盖 AI 芯片、AI 加速卡及模组、智算系统及集群和 AI 计算及编程软件平台。
作为模力方舟的深度生态合作伙伴,此次入驻 Gitee 标志着燧原在开源生态建设上迈出了重要一步。
燧原科技组织链接:
https://gitee.com/EnflameTechnology

已开源项目:聚焦大模型推理软件栈
燧原在 Gitee 上的开源内容,围绕其自研 GCU(General Computing Unit)构建的大模型推理软件栈展开,目前已上线 4 个项目:
vllm-gcu:基于原生 vLLM 框架适配 Enflame GCU(S60)的大模型推理系统,让开发者在国产 GCU 硬件上直接复用 vLLM 生态能力,降低从 CUDA 生态迁移的成本。
FFmpeg-GCU:基于燧原 topscodec 编解码能力的 FFmpeg 插件,将视频编解码环节卸载到 GCU 硬件加速,适用于视频理解、直播审核等需要前处理加速的场景。
ModelZoo:燧原开发维护的模型合集,涵盖 CV、NLP、推荐系统等领域的经典和 SOTA 模型训练与推理示例,可用于 GCU 上的模型兼容性验证和性能基准测试。
candle-vllm-gcu:基于 Rust 语言 Candle 框架的 GCU 推理实现,为偏好 Rust 技术栈或对部署体积有严格要求的开发者提供区别于 Python 生态的推理路径。
软件栈全景:从驱动到平台的完整分层
从燧原公布的大模型推理软件栈架构图来看,整体分为六层:

最底层是驱动层(KMD、EFSMI),负责硬件资源管理和监控。
其上是工具链层,包含 Triton-GCU、TileLang-GCU 等领域专用语言编译工具,以及 TopsGDB、TopsProf、Visual Profiler 等开发调试工具,为算子开发和性能调优提供基础支撑。
库层集中了计算加速的核心组件:Topsop 算子库、GCU 加速库、KV Cache Library 以及通信库。这些组件直接决定了大模型推理中 Attention 计算、KV Cache 管理和多卡通信的实际效率。
框架层以 Torch-GCU 为核心,向上承接 vLLM-GCU 和 vLLM-Omni-GCU,让主流推理框架可以透明地调度 GCU 算力。
模型层的 Model Zoo 覆盖了文本大语言模型、代码编程大模型、视觉语言大模型、嵌入与检索模型、语音处理大模型和多模态大模型六大类。
平台层则提供 Docker 镜像、TopsClouds 云服务和 TopsEngine、TopsPilot 等解决方案。
值得关注的是,架构图中绿色标注的组件为燧原后续计划开源的项目。这意味着当前开源的 4 个仓库只是起点,未来将有更多底层库和工具链代码进入燧原的开源体系。
国产算力生态:开源只是第一步
对于正在评估国产 AI 芯片方案的团队,燧原提供了一个低门槛的技术验证入口:直接拉取代码,在 GCU 环境中编译运行。
此外,模力方舟算力市场已上线燧原算力资源,开发者可直接在线调用,还有刚刚上线的国产 AI 芯片技能认证,则为有意深入国产算力开发的工程师提供了从基础适配到性能调优的系统化学习路径。
全部0条评论
快来发表一下你的评论吧 !