近日,沐曦集成电路(上海)有限公司(下称“沐曦”)曦云C500千亿参数AI大模型训练及通用计算GPU与未来速度旗下大模型推理及数据分析产品完成适配。
沐曦旗舰产品曦云C500基于自主研发的高性能GPU IP,特别适合千亿参数AI大模型的训练和推理;基于全自研 GPU 指令集打造的MXMACA软件栈,全面兼容主流GPU生态,实现用户零成本迁移;通过自主知识产权的MetaXLink实现单机8卡GPU全互联,提供构建高密度算力和云计算部署的优秀国产GPU解决方案;可广泛应用于千亿参数AI大模型训练与推理、AIGC内容生成、推荐系统、自动语音识别、语音合成、图像分割检测,以及科学计算、数据库加速等多种场景。
本次在较短时间内双方完成多个模型框架的适配工作,充分证明了曦云C500千亿参数AI大模型训练及通用计算GPU的高通用性和灵活性,双方的合作降低了大模型推理和大规模数据处理的门槛。
大模型推理框架适配结果
依托曦云C500软件栈MXMACA的完美兼容性,分布式推理框架Xorbits Inference成功运行了70B的LLaMa2模型,成为首个在单张国产GPU上完成 70B大模型推理任务的案例。该模型能够流畅地在本地环境中部署,让用户轻松一键部署个性化模型或前沿的开源模型。
数据分析框架适配结果
通过不到一天时间完成兼容对接,Xorbits依托曦云C500不仅能够高效地处理TPC-H基准测试中的22个复杂查询场景,还提供了简洁、可读性强的代码,这使得Xorbits的解决方案易于理解、维护和扩展,为用户带来了极大的便利和灵活性。
关于沐曦
沐曦致力于为异构计算提供安全可靠的GPU芯片及解决方案,打造全栈GPU芯片产品,推出曦思N系列GPU用于AI推理,曦云C系列GPU用于千亿参数AI大模型训练及通用计算,以及曦彩G系列GPU用于图形渲染,满足数据中心对“高能效”及“高通用性”的算力需求。沐曦产品均采用完全自主研发的GPU IP,拥有完全自主的指令集和架构,配以兼容主流GPU生态的完整软件栈(MXMACA),具备高能效和高通用性的天然优势,能够为客户构建软硬件一体的全面生态解决方案,是“双碳”背景下推动数据中心建设和产业数字化、智能化转型升级的算力基石。
全部0条评论
快来发表一下你的评论吧 !