国产深度学习框架的挑战和机会

电子发烧友网报道（文/李弯弯）深度学习框架是一种底层开发工具，是集深度学习核心训练和推理框架、基础模型库、端到端开发套件、丰富的工具组件于一体的平台。
 
有了深度学习框架，工程师在工作时调试算法，就可以更快速、更高效。通俗一点讲，深度学习框架相当于是AI时代的操作系统，如同PC时代Windows，移动互联网时代的iOS和安卓。
 
国内外都有哪些深度学习框架
 
深度学习框架的历史并不算长，从2010年诞生的Theano算起，至今不过十二年时间。2017年后，早期的Theano、Caffe、Torch等框架逐渐销声匿迹，2016年前后出现的TensorFlow、PyTorch、飞桨逐渐占据市场。
 

 
TensorFlow由谷歌人工智能团队谷歌大脑开发，拥有包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud在内的多个项目以及各类应用程序接口。自2015年11月9日起，TensorFlow依据阿帕奇授权协议（Apache 2.0 open source license）开放源代码。
 
PyTorch于2017年由Facebook人工智能研究院（FAIR）基于Torch推出，它是一个基于Python的可续计算包，提供两个高级功能：1、具有强大的GPU加速的张量计算（如NumPy）；2、包含自动求导系统的深度神经网络。
 
飞桨（PaddlePaddle）以百度多年的深度学习技术研究和业务应用为基础，集深度学习核心训练和推理框架、基础模型库、端到端开发套件、丰富的工具组件于一体，是中国首个自主研发、功能完备、开源开放的产业级深度学习平台。
 
根据调研机构IDC公布的一份中国深度学习框架平台市场份额的报告，在中国深度学习领域，百度飞桨综合市场份额已经成为中国第一。截至2022年5月，飞桨已经凝聚477万开发者，创造56万个AI模型，服务18万企事业单位，与产学研用协同培养超过200万AI人才。
 
从目前市场占有情况看，产业界以TensorFlow为主，学术界以PyTorch为主。与TensorFlow过于注重工业，PyTorch专注学界不同，飞桨的特性在于工业学界两手抓，通过动态图自动解析编译静态图的技术，兼顾了学界的灵活，同时也实现了产业界希望的高效。
 
除了TensorFlow、PyTorch、飞桨，深度学习框架还包括由Amazon设计研发并开源MXNet、微软在github上开源的CNTK、华为推出的MindSpore、北京一流科技有限公司开发的OneFlow，以及清华大学自研Jittor，和腾讯、字节跳动、360开源的Angel、BytePS、TensorNet。
 
国产深度学习框架框架的挑战
 
深度学习框架是智能时代的操作系统，它和芯片一起共同构成了人工智能的基础设施，深度学习框架的重要性不亚于芯片。在“十四五”规划中，深度学习框架被列入“新一代人工智能”领域，成为国家重点支持的前沿创新技术。
 
如今以百度飞桨为代表，我国深度学习平台已经冲破国外技术垄断，越来越多的开发者正基于国产深度学习平台开展智能化转型应用。不过，中国自研深度学习框架想要在国际竞争中取得领先，还有很长的路要走。
 
百度AI技术生态总经理马艳军此前在百度AI开放日活动上表示，当前中国深度学习框架的发展仍需突破三大关键点：技术实力、功能体验、生态规模。
 
首先，技术创新方面，深度学习框架的研发需要人工智能领域底层技术人才，我国在这一领域的储备仍有不足。其次，在应用体验方面，由于中国是全球产业链最为完备的国家，产业体系复杂，中小企业转型需求迫在眉睫，一个低门槛甚至零门槛的开发平台极为重要。

在开发应用生态方面，深度学习是一个典型的共创型技术领域，只有构建了自己的生态才能实现持续迭代和发展。然而构建生态周期长、成本高，而且只有当国产框架的技术和功能体验足以满足开发者的需求时，才有机会培育起自主创新的AI开发应用生态。
 
日前华为公司中央软件院架构与设计管理部部长，华为科学家与昇思MindSpore首席架构师金雪锋在某活动上也谈到“AI框架的挑战”相关的话题。
 
他认为，在人工智能新基建时代，AI框架面临这几个挑战和机会点：1、新的应用范式：模型复杂度指数级增长，大模型成为新生产方式，AI与传统科学计算融合，有望催生革命性成果。2、新的计算架构：计算量指数增长，通用芯片向领域高效能芯片转变，双碳经济下，分散低效的算力向集约高效算力演进。3、新的开发和部署方式：AI行业应用进入深水区，融入生产系统是关键。
 

 
 

面对上述挑战和机会点，华为昇思MindSpore进行了技术创新，比如面向新的应用范式，包括自动并行，原生大模型支持，即自动并行AI编译器，通过编译器进行复杂的多维混合并行策略的寻优，把算法和模型自动切分到集群上去执行，既大大降低了大模型的开发门槛，又保证了多种并行策略的灵活组合使用。
 
总结
 
整体而言，在人工智能体系中，深度学习框架处于贯通上下的腰部位置，下接芯片、上承应用，是一个关键枢纽，是推动AI应用大规模落地的关键力量。因此对于企业来说，克服深度学习框架当前面临的挑战，不断进行技术创新，完善技术、功能和生态是关键。