浪潮信息近日发布了一款全新的开源大模型——“源2.0-M32”。这款大模型在“源2.0”系列大模型的基础上,进行了深度的技术创新与升级。
其核心技术亮点在于“基于注意力机制的门控网络”技术的引入。通过这一技术,浪潮信息成功构建了一个包含32个专家的混合专家模型(MoE),该模型不仅结构先进,而且算力效率极高。在运行时,模型的激活参数仅为37亿,这一数字在业界中堪称领先。
更为值得一提的是,“源2.0-M32”在性能上全面对标了拥有700亿参数的LLaMA3开源大模型。在业界主流基准评测中,它展现出了卓越的性能,为用户提供了更为高效、精准的服务。
此次“源2.0-M32”的发布,无疑将进一步推动人工智能领域的发展,同时也彰显了浪潮信息在技术创新方面的领先地位。
全部0条评论
快来发表一下你的评论吧 !