浪潮信息重磅发布“源2.0-M32”开源大模型

描述

浪潮信息近日发布了一款全新的开源大模型——“源2.0-M32”。这款大模型在“源2.0”系列大模型的基础上,进行了深度的技术创新与升级。

其核心技术亮点在于“基于注意力机制的门控网络”技术的引入。通过这一技术,浪潮信息成功构建了一个包含32个专家的混合专家模型(MoE),该模型不仅结构先进,而且算力效率极高。在运行时,模型的激活参数仅为37亿,这一数字在业界中堪称领先。

更为值得一提的是,“源2.0-M32”在性能上全面对标了拥有700亿参数的LLaMA3开源大模型。在业界主流基准评测中,它展现出了卓越的性能,为用户提供了更为高效、精准的服务。

此次“源2.0-M32”的发布,无疑将进一步推动人工智能领域的发展,同时也彰显了浪潮信息在技术创新方面的领先地位。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分