华为芯片基础平台HUAWEI HiAI Foundation助力开发者高效灵活开发

上月，华为开发者大会2021《HDC.Together》在美丽的松山湖畔召开，华为专家、行业大咖和全球开发者齐聚一堂，携手碰撞全场景万物智慧互联新时代的火花。作为芯片使能的基础平台，HUAWEI HiAI Foundation带来以《端云协同，HUAWEI HiAI Foundation打造更易用的AI计算平台》为主题的技术交流，与开发者共同探讨AI应用开发的创新技术与未来趋势。

自2017年麒麟970发布至今，端侧AI经历了开创先河到产业快速发展的巨变。一方面，麒麟芯片的AI性能不断突破，为一代又一代终端设备提供更强大的算力加持；另一方面， HUAWEI HiAI基于“芯、端、云”三层开放架构，让开发者更简单快捷地应用华为的AI能力，构筑全面开放的智慧生态。

作为麒麟芯片计算能力的开放平台，HUAWEI HiAI Foundation提供300+算子支持，具备业界最佳的模型兼容性，将芯片AI算力更好更直接地开放给开发者。此外，HUAWEI HiAI Foundation还推出端云协同、模型可视化、Model Zoo、自主调优工具包、多IP深度协同等多种解决方案和能力，为众多业务场景打造更高性能更低功耗的计算环境，助力开发者快速开发和部署AI应用。

从平台架构来看，HUAWEI HiAI Foundation衔接智慧业务和计算芯片，上层支持MNN、TNN、华为MindSpore Lite、Paddle Lite、KwaiNN等合作伙伴的框架对接，利用推理加速平台（Foundation DDK）和异构计算平台（Foundation HCL）将AI任务调入NPU/CPU/GPU/DSP等IP中进行计算，赋能手机、平板、智慧屏、车机、手表等终端设备，将更多好玩酷炫的AI应用带到消费者面前。

（HUAWEI HiAI Foundation 开放架构）

五大性能优势，助力开发者高效灵活开发

端云协同：针对新业务场景算子以及已有典型业务场景算子，提供性能优化、快速升级平台能力的解决方案

当前，AI业务和算法模型都在持续快速演进，AI计算平台适配新业务和新算法快速升级成为难题。端云协同具备可变的计算框架、广适的模型结构，助力开发者快速支持新模型、上线新业务，让消费者快速获得端侧AI带来的体验提升。

以往，消费者想要体验到最新的AI功能与服务，需要等算子库更新，而算子库内置在手机ROM中，手机新版本更新，算子库才能随之更新。当旧手机的ROM不再更新，算子库的更新便成为难题。端云协同能够让老手机用户不受终端版本的限制，更灵活地享受更新、更优质的服务。基于华为端芯云三端打通的优势——底层是计算芯片及HUAWEI HiAI Foundation，端侧有预置的HiAI Engine，云侧有自己的计算库插件更新云，HUAWEI HiAI Foundation可以将算子库放到云端。当有新支持的算子或性能优化发布后，HUAWEI HiAI Foundation会在闲时静默自动更新新的算子库，开发者只需在APP开发时正常调用，无感使用升级后的计算能力，让老手机焕发新生机。

（HUAWEI HiAI Foundation端云协同）

未来，HUAWEI HiAI Foundation将利用这条端云协同的通路进一步放大端侧AI能力，通过端云协同的算子搜索、融合策略、异构分段策略等技术赋能NPU机型，快速且低成本解决开发者的技术难题，支撑更多视频、文本、语义等业务的上线。

Model Zoo：辅助开发者优化模型结构，更好地利用麒麟芯片NPU加速优势

开发者在业务开发过程中，为了最大程度利用芯片算力，不可避免地需要针对麒麟芯片的硬件结构做一些模型调整，这个过程可能会出现效率低，资源利用不足的情况。HUAWEI HiAI Foundation打造Model Zoo，将麒麟芯片NPU友好的模型结构、Backbone、算子放进去，供开发者自行挑选，辅助其优化模型结构，更好的发挥麒麟芯片NPU的加速优势。HUAWEI HiAI Foundation的底层模型结构可视化已经在Netron工具适配上线，方便开发者开发调试。

模型量化工具包：让开发者的APP更快、更小

正常情况下，开发者训练的模型是32bit，这样的模型计算精度固然高，但对手机功耗和内存的要求也比较高。HUAWEI HiAI Foundation为开发者提供模型量化工具包，在满足计算精度的前提下，可以把原始模型直接量化为更小、更轻便且最适合NPU结构的低比特模型，无需开发者做二次调整，从而节省手机空间，降低计算资源的消耗。

模型量化工具包支持无数据量化和训练感知量化，以达到性能与精度的平衡；支持8bit/4bit+2bit模型量化，支持自适应混合量化，实现模型性能与大小的平衡。譬如，开发者基于ResNet50、InceptionV3等典型网络模型进行量化，量化后的int8模型在精度几乎不损失的情况下，模型大小仅为原来FP32模型大小的四分之一。

（HUAWEI HiAI Foundation模型量化工具包）

 网络结构搜索工具包：让网络设计更简单、更有效

网络结构搜索工具包支持多种类型的网络结构搜索任务，包含分类，检测和分割。通过精度，性能目标牵引，协同硬件信息通过最优化搜索算法获得最优的网络结构，得到最佳的性能提升。网络结构搜索工具包支持多种主流训练框架使能，包含：caffe，tensorflow，pytorch。同时针对多种主流硬件平台具有算力和时延建模的能力。

（HUAWEI HiAI Foundation网络结构搜索工具包）

 多IP深度协同：各计算单元共用DDR内存，提升性能降低功耗

HUAWEI HiAI Foundation在芯片裸算力开放的同时，还具备芯片底层多IP深度协同的优势。多IP深度协同的好处在于，CPU、NPU等各计算IP共用DDR内存，在ISP、CPU、NPU、GPU等IP之间最大程度减少拷贝数据流转的开销，既可提升性能又能降低功耗。

日调用量突破600亿，引领端侧AI行业标准构筑

如今，AI技术在端侧的应用越来越广泛，语音识别、图像识别、图像分割、图像超分、人脸识别、文字识别等已经成为全民通用的技术，消费者期待更好玩的AI应用出现，希望获得更优质的AI应用体验。HUAWEI HiAI Foundation为AI应用开发提供了基础保障，让开发者能够突破性能瓶颈，提高开发效率，节省计算资源，更好地投入到AI玩法的研究与落地中，满足消费者对智慧生活的美好期待。

具体而言，接入HUAWEI HiAI Foundation开放生态的价值体现在高效实时运算、保护隐私和节省成本三个方面。

其一，从隐私保护的角度来看，应用中涉及的用户隐私数据，譬如人脸数据、指纹数据等更应该留在本地，避免上传云端带来不必要的麻烦。HUAWEI HiAI Foundation助力开发者在端侧实现AI计算，能够更好地保障用户隐私安全。

其二，相较于云端计算，端侧计算具有低时延的优势，HUAWEI HiAI Foundation支持更多AI模型在移动端高效运算，避免端云交互所带来的延时和流量开销，提升用户体验。

其三，基于HUAWEI HiAI Foundation直接开放的芯片算力，开发者可以将更多的AI模型部署在端侧，节省开发成本。以视频超分为例，当用户在手机上观看1080P的视频时，如果开发者不使用超分技术，就需要从服务器上刷1080P的高清码流到手机上；反之，如果开发者使用视频超分，则只需要在服务器上刷低分辨率的码流过来，在手机端做超分处理。如此，开发者既可以节省带宽，同时帮用户节省了下载高清码流的流量。

据统计，HUAWEI HiAI Foundation自2018年开放以来，以高性能、低功耗、高易用性收获越来越多的开发者青睐，短短3年间日调用量从100万+增长到600亿+。抖音、剪映、支付宝、淘宝、爱奇艺、美颜相机、轻颜相机、快手、百度地图等头部应用已先后接入HUAWEI HiAI Foundation，利用端侧AI强大的计算能力，为用户打造智能新体验。

（HiAI Foundation日调用量突破600亿+）

以爱奇艺为例，HUAWEI HiAI Foundation芯片开放能力，助推爱奇艺快速实现视频超分AI功能在端侧部署的突破。在爱奇艺V12.1.5版本中，爱奇艺与HUAWEI HiAI Foundation合作在手机端新增了增强画质功能。基于爱奇艺ZoomAI 智能超分算法突出视频画面中的细节纹理，抑制锯齿和底噪，搭配色彩增强算法效果，在完全不影响帧率的情况下完成了视频的实时画质增强处理，让画质变清晰，视频整体画面更显精细。

在双方的合作中，爱奇艺工程师通过与HUAWEI HiAI Foundation进行框架对接，快速将原始模型转换成华为Davinci Model，并通过Davinci Model的调优技术，优化模型结构，充分发挥硬件单元的算力，令模型算子以更低功耗在手机端侧高效运转。在此次部署中，HUAWEI HiAI Foundation还使用图融合调优技术，减少模型算法对DDR的依赖，以提升模型性能降低系统功耗。HUAWEI HiAI Foundation还配备了丰富的调试工具链和模型可视化工具，帮助爱奇艺工程师快速解决对接过程中遇到的功能和性能相关问题。

如果说2017年端侧AI还只是一颗种子，如今随着AI算力不断突破，AI开放平台持续赋能，AI开发者想象力不断迸发，端侧AI已经逐渐生根发芽、茁长成长。为了助力端侧AI行业繁荣发展，HiAI Foundation在优化平台性能的同时，已加入AI标准化组织AITISA（人工智能产业技术创新战略联盟），并参与端侧AI标准草案撰写，共同构筑AI行业标准。据悉，该草案将于2022年正式发布。

原文标题：深度解析：HUAWEI HiAI Foundation如何助力AI应用高效开发？

文章出处：【微信公众号：华为麒麟】欢迎添加关注！文章转载请注明出处。
       责任编辑:pj