浪潮信息发布“源2.0-M32”开源大模型

描述

浪潮信息近日推出了革命性的“源2.0-M32”开源大模型。该模型在源2.0系列基础上,引入了“基于注意力机制的门控网络”技术,构建了一个包含32个专家的混合专家模型(MoE),有效提升了模型算力效率。

M32模型凭借其独特且优化的架构,在仅激活37亿参数的情况下,便展现出了与700亿参数LLaMA3模型相媲美的性能。更令人瞩目的是,它实现的这一性能所消耗的算力仅为LLaMA3的1/19,极大降低了运行成本。

此次浪潮信息的创新,不仅展示了其在人工智能领域的深厚实力,也为整个行业树立了新的标杆。随着“源2.0-M32”的发布,我们有理由期待人工智能领域将迎来更多突破与发展。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分