AI底层生态的“国货之光”，如何稳稳站在时代风口上？

人工智能的落地问题受到普遍关注，不过，在关注商业化应用的同时，应用落地之前的开发与创新，以及为创新提供的基础设施，更应该受到关注，这毕竟是整个AI蓝图想象力的原点。
 
在AI时代的分工体系中，深度学习框架起到了承上启下的作用，向下是芯片、大型计算机系统，向上是各种业务模型、行业应用。
 
这也正是为什么，深度学习框架成为科技巨头的必争之地。对开发框架的重视，隐藏着科技企业对AI未来的押注。再放大到国际竞争的维度来看，深度学习框架的质量和普及程度，很可能会影响到整个产业的进程甚至结果。
 
所幸的是，已经受够了“缺芯之痛”的中国，在深度学习框架上起步够早，且已达到了一定的高度。

深度学习平台走向开源

IDC的《中国深度学习平台市场份额调研》显示，在AI技术使用方面，接受调研的企业和开发者中，86.2%选择使用开源深度学习框架。
 
在中国深度学习平台市场，谷歌、Facebook、百度三强鼎立态势稳固，三者占据了国内超过一半的市场份额。其中，百度飞桨是市场前五中唯一的国货。
 
百度自2013年就开始研发深度学习框架，当时主要为了解决主流开发框架仅支持GPU应用、无法进行大规模数据处理的问题。经过几年内部应用后，2016年正式开源飞桨（PaddlePaddle）深度学习平台。这也让百度在当时成为继谷歌、Facebook、IBM之后，全球第四家、中国第一家开源深度学习开发框架的科技公司。
 
今年，华为MindSpore、旷视天元接连宣布开源。国内的深度学习热度迭起。
 
援引一位业内人士的评论：只有原创才能引领，开放才能繁荣。在这场基础设施争夺中，中国产业壁垒的高度已和过去不再相同。

硬件+软件，AI生态布局的全景思路

5月20日，WAVE SUMMIT2020深度学习开发者峰会上，百度飞桨联合英特尔、英伟达、arm中国、华为、MediaTek、Imagination、寒武纪、浪潮、中科曙光等13家全球的领先硬件厂商，宣布启动共建硬件生态合作圈。
 
在这份生态版图中，飞桨的硬件生态伙伴层次非常分明，既有业界巨头、老牌企业，也有国内外新锐企业。从硬件类型来看，覆盖CPU、GPU、新型处理器架构、AI专用芯片以及IP。可以说，是百度飞桨对AI产业全版图的一次全方位包抄。这对整个AI产业界意味着什么？对于推进AI在中国的商用落地又能带来哪些帮助？
 
百度方面表示，随着产业的加速发展，AI芯片产业，也出现了越来越多的玩家和细分领域。飞桨一直强调“生态”的概念，用开源的方式，可以打造一个繁荣、健康、互惠、可持续发展的生态平台。
 
同时，飞桨的应用涵盖了几乎所有的AI场景，飞桨的合作伙伴及其相关产品，既有云侧、也有端侧；既有训练、也有推理；既有传统CPU芯片，也有加速芯片；既有侧重语音场景的，也有侧重视觉、自然语言理解场景的，这其中也包括IP厂商。

 
截至5月20日的数据，飞桨至今累计开发者数量194万，服务企业数量8.4万家，基于飞桨平台产生了23.3万模型。
 
作为中国首个开源开放、功能完备的产业级深度学习平台，飞桨硬件生态的扩大，意味着能够普及到更多的开发者和企业，让他们能够在不必考虑底层芯片细节的前提下，直接使用，可以更多地专注在自己的业务场景本身。在完成业务模型与底层硬件之间解耦的同时，确保最大限度地释放硬件算力。这将有助于降低技术门槛，加速推动AI的产业落地过程。 

飞桨的新晋国产硬件生态伙伴

随着数据量不断增长、算法不断演进和迭代，对极致算力的需求也越来越大，而软硬件的充分结合则显得尤为重要。此次与飞桨完成生态拓容的，主要有如下中国硬件供应商及其产品：
 
华为Atlas
 
华为Atlas与飞桨深度对接，即将在近期开放代码。华为Atlas人工智能计算平台基于华为昇腾系列AI处理器和业界主流异构计算部件，通过模块、板卡、小站、一体机等丰富的产品形态，打造面向“端、边、云”的全场景AI基础设施方案，可用于“平安城市、智慧交通、智慧医疗、AI推理”等领域。
 
飞腾CPU
 
飞腾作为国内老牌的自主CPU芯片提供商，CPU应用正在逐步进入人工智能和深度学习等领域。此次，飞腾FT-2000+/64 处理器已经与百度飞桨、昆仑芯片完成算力、架构、技术三方面的适配认证。
 
不仅如此，Paddle Lite 2.3.0在飞腾硬件平台上实现了麒麟OS和UOS的适配。基于飞腾硬件平台的Paddle Lite可进行灵活的AI模型部署；在若干主流模型的推理性能上均具备高性能表现；可广泛适用于智慧政务、无人车、智能家居等典型AI应用场景。
 
MediaTek AI框架NeuroPilot
 
MediaTek的NeuroPilot人工智能通用软件平台，与Paddle Lite轻量化推理引擎完成适配。所有MediaTek的AI芯片APU (Artificial intelligence Processing Unit ) 都能够使用Paddle Lite快速部署。
 
据了解，MediaTek弹性的AI框架NeuroPilot与百度Paddle Lite集成，实现端上实时智能推理的产品应用。Paddle Lite运行在MediaTek APU上的效率相比于传统ARM CPU性能提升6倍，功耗降低90%，便于实现低功耗、便携式产品应用。通过下方的系统架构图可以见到，相比于离线的工具转换，通过Delegate的子图直接调用，可以降低软件時延，确保维持Paddle Lite上模型的效能。

图：Paddle Lite与MediaTek NeuroPilot框架图

 
瑞芯微AI芯片RK1808、RK1806
 
瑞芯微（Rockchip）AI芯片RK1808、RK1806都已适配飞桨，兼容飞桨轻量化推理引擎Paddle Lite。
 
RK1808及RK1806，内置独立NPU神经计算单元，INT8 算力达3.0TOPs；采用22nm FD-SOI工艺，相同性能下的功耗相比主流28nm工艺产品降低约30%，在算力、性能、功耗等指标上均有优异的表现。据瑞芯微官方数据，瑞芯微AI芯片在Paddle Lite中运行MobileNet V1耗时仅为6.5 ms，帧率达153.8 FPS，二者充分兼容并高效稳定运行。
 
如下图所示的实测結果可以看出，与手机等移动端常用的国内外主流CPU相比，RK18系列NPU在MobileNET_v1的耗时更少，在图像分类、目标检测、语音交互方面，效果更好。

据了解，除RK1808、RK1806外，瑞芯微搭载NPU的AI系列芯片将陆续升级适配百度飞桨。
 
寒武纪思元270、思元220
 
寒武纪的云端AI处理器芯片思元270，与飞桨的轻量化推理引擎Paddle Lite完成兼容性适配；思元220边缘端芯片，也预计在近期完成适配工作。
 
据了解，截至目前，寒武纪与Paddle Lite的合作场景主要基于云端推理市场，但双方基于边缘推理市场的适配合作也正在进行中。未来，双方还将开展基于云端训练的适配合作。
 
比特大陆算丰系列AI芯片
 
百度飞桨深度学习平台新增适配比特大陆最新算丰系列AI芯片。比特大陆已成功推出四代AI芯片：云端芯片算丰BM1680、算丰BM1682、算丰BM1684，终端芯片BM1880。
 
最新一代算丰BM1684芯片，聚焦于云端及边缘应用的人工智能推理，采用台积电 12nm 工艺，在典型功耗16瓦的前提下，INT8 算力可达17.6Tops，在 Winograd 卷积加速下，INT8 算力提升至 35.2Tops，是一颗低功耗、高性能的 SoC 芯片。官方资料显示，其算力性能和性能功耗比指标超过主流推理GPU，在性能满足视频分析业务需求的前提下，可以实现视频结构化的单路成本优化。

AI芯片+深度学习平台如何把握时代契机？

两大契机正在推动AI软硬件技术的结盟以及开源生态的壮大。
 
百度CTO王海峰在WAVE SUMMIT 2020深度学习开发者峰会上说到，算法、算力及数据的持续共同进步，使技术的应用边界不断被拓展。围绕深度学习平台的技术和产业生态日渐繁荣，将有助于推动人工智能进入工业大生产阶段，加速各行各业智能化升级，并不断催生新的应用、新的产业。
 
另一方面，从市场需求及政策导向看，疫情带来的远程办公、云课堂等复工复产新模式，公共安全、应急管理、城市治理等国计民生相关产业迫在眉睫的智能化需求，以及新基建大潮，为技术创新创造了良好的机遇。深度学习软硬件平台的结合，作为新型基础设施的重要环节，将与云计算、5G、物联网、数据中心等互相融合促进，加速产业智能化进程。
 
飞桨是让深度学习的创新与应用更简单。其迭代发展主要有两大驱动，最原生的驱动轮是产业实践的需求和打磨，对应着对性能、大规模训练和部署能力，相应的特色优势也吸引着更多用户的使用。此外，提升用户体验则是另一个重要驱动轮，需要关注用户编程界面的优化和基础功能建设的完善，打造一个灵活易用的产业级深度学习框架。
 
新发布的全景图包括飞桨开源深度学习平台和飞桨企业版。飞桨开源深度学习平台部分，包含核心框架、基础模型库、端到端开发套件与工具组件，持续开源核心能力，为产业、学术、科研创新提供基础底座。同时，随着企业应用的需求越来越丰富和强烈，飞桨升级了产品架构，推出了飞桨企业版。
 
由于移动端和嵌入端场景对轻量化的要求非常高，硬件芯片也更为广泛多样。因此在自有多硬件加速库的基础上，提供了独立的轻量化推理引擎Paddle Lite，对端侧任务提供高性能支持。同时，在算子定义和模型表达层面，和核心框架保持一致。也正是在Paddle Lite下，实现了对国产AI芯片最全面的支持。
 
AI芯片的持续爆发，仍在引发与其适配优化的编译器需求，以及与Inference框架内应用整合的需求，标准化和体系化将是未来的主要方向：
 
一方面，需要建立行业统一标准，例如在深度学习框架、软硬适配接口、整机系统集成等领域推动统一的行业标准，促进行业规模化应用；
 
另一方面，需要加快软硬一体适配，以满足视觉、自然语言处理、语音等典型AI应用场景的需要，加速推进深度学习平台在训练、预测等功能与芯片、整机等智能硬件平台厂商适配融合；此外，通过建设和完善深度学习与人工智能行业应用生态的运行机制，共同推动应用普及等等，都是飞桨生态下一步非常重要的方向。
 
当然，要被更多开发者认可，还需要继续紧贴用户需求打磨，扩大上下游生态，进而才能建立具备高度壁垒的综合竞争力。

本文由电子发烧友网原创，未经授权禁止转载。如需转载，请添加微信号elecfans999.