国产大模型发展的经验与教训

 

 

本文介绍大模型的计算特征（国产平台介绍、系统挑战、算子实现、容错）、框架的并行性支持、未来算法等。

随着ChatGPT的横空出世，人工智能大模型成为各行各业热议的焦点，国内外各种大模型如雨后春笋般涌现，引发了新一轮人工智能热潮。但在看到大模型取得巨大进步的同时，也要看到当前国内大模型的研发推广仍然面临不小的挑战和压力。

面对上述挑战，需从战略层面统筹考虑大模型研发运营等相关问题，充分发挥“集中力量办大事”的制度优势，强化顶层设计，加大统一规划，加大政策支持和资源投入力度，推动中国人工智能从“跟跑”迈向“领跑”。

一是提高算力规模。进一步完善信息基础设施，加快推进“东数西算”步伐，加大算力网络建设力度，为大模型研发运营提供足够算力，同时进一步提高网络速度，降低网络时延，为更多大模型走向应用创造条件。

二是加强数据管理。国家层面加强对数据的管控，明确行业标准，建立数据使用规则，确保大模型训练数据的质量。同时，针对行业数据，破除不同厂家之间数据互相不能查询的壁垒，确保大模型训练有充足、准确的专业数据。

三是建立大模型研发“国家队”。集中全国顶尖人才和优质资源，举全国之力进行攻坚突破，同时解决大模型研发中存在的“小而散”问题，减少无效或低效大模型开发对算力和能源的浪费。

四是加大资金投入。建立国家大模型基金，专门用于大模型的研发、训练等。

五是加大政策支持。面向大模型研发，制订更加优惠的税收政策。针对国有企业在大模型研发上投入的资金，允许以两倍规模计为企业净利润。

六是加大科技投入。解决核心技术“卡脖子”问题，特别是加大人工智能芯片研发制造力度。