大模型时代，商汤大装置重构AI基础设施与服务

大模型时代，怎样的基础设施与服务才能满足行业所需？

4月9~11日，第十二届中国电子信息博览会（CITE 2024）在深圳举行，商汤科技大装置事业群首席运营官梁守星受邀参加博览会期间的“2024 AI算力产业大会”，分享了商汤大装置在AI基础设施与服务领域的探索和实践成果。

 

打造“数据、算力、算法”

三位一体的AI基础设施

  数据、模型、算力的量变，引发了AI行业的质变。

比如，大模型的语料规模5年间翻了1000倍，模型参数量更是百万倍的增长，而算力也呈现数十万倍的增长趋势。

在这一趋势下，以基础算力、网络、存储服务为核心的传统云架构，已难以满足AI行业的需求。AI时代的基础设施，需要做到“数据、算力、算法”三要素的一体化。

数据管理是一项复杂而重要的任务，涉及接入、采集、标注等体系化流程。而且相较英文，中文语料的变量更加多样，增加一个标点就可能改变整个语境，进一步增加了数据管理难题。

对此，商汤大装置打造了百亿级非结构化的AI数据管理平台，并支持秒级的数据可视检索，同时还提供数据安全整套解决方案和优质公开数据集，让数据管理更便捷、模型训练更高效。

在算力层面，商汤前瞻布局SenseCore商汤大装置，拥有高达12,000 petaFLOPS的算力规模，超过4.5万块GPU，为商汤自身大模型研发提供了丰沛算力的同时，也支持外部客户训练大模型和应用部署，国内主流大模型客户达30家以上。

基于商汤大装置及长期经验积累，商汤构建了高效、完备、易用的大模型生产工具链，实现了基础层、模型层、串联层、应用层的标准化体系。

不仅如此，商汤还提供涵盖从训练系统优化、模型训练、技术咨询的全链条AI专家服务体系，满足各行各业不断涌现的大模型开发和应用需求。

在商汤大装置的支持下，商汤在算法层面也实现了高效迭代。“日日新SenseNova 4.0”在代码编写、数据分析和医疗问答等多个场景中，达到了与GPT-4相匹配的能力水平。本月，商汤日日新大模型体系还将发布最新更新。

助力各行各业

降本增效、产业升级

根据国际知名调研机构弗若斯特沙利文（Frost & Sullivan）联合头豹研究院发布的《2023年中国AI开发平台市场报告》，商汤大装置成为AI开发平台领军者，市场综合竞争表现国内第一，全球位居第二，仅次于亚马逊云。

作为AI原生时代稀缺的大模型基础设施，商汤大装置正在助力各行各业客户实现降本增效和产业升级：

例如，助力某大模型客户在1个月内完成500B tokens、千亿规模参数LLM预训练，显著提升自动应答质量提升。

助力某电力客户优化电力生产和运维流程、降低客户生产成本和运维难度、提升电网运行效率和稳定性，促进新能源集成和消纳。

此外，商汤还与重庆南岸区联合打造重庆AIDC，助力重庆AIDC成为国产化示范点，赋能当地政务、民生、经济等领域数字化应用及西南地区重点产业升级。

商汤大装置致力于打造高效率、低成本、规模化的下一代AI基础设施产品与服务，构建丰富的产业上下游生态，共建、共创AI未来发展。

 

审核编辑：刘清