上月,华为开发者大会2021《HDC.Together》在美丽的松山湖畔召开,华为专家、行业大咖和全球开发者齐聚一堂,携手碰撞全场景万物智慧互联新时代的火花。作为芯片使能的基础平台,HUAWEI HiAI Foundation带来以《端云协同,HUAWEI HiAI Foundation打造更易用的AI计算平台》为主题的技术交流,与开发者共同探讨AI应用开发的创新技术与未来趋势。
自2017年麒麟970发布至今,端侧AI经历了开创先河到产业快速发展的巨变。一方面,麒麟芯片的AI性能不断突破,为一代又一代终端设备提供更强大的算力加持;另一方面, HUAWEI HiAI基于“芯、端、云”三层开放架构,让开发者更简单快捷地应用华为的AI能力,构筑全面开放的智慧生态。
作为麒麟芯片计算能力的开放平台,HUAWEI HiAI Foundation提供300+算子支持,具备业界最佳的模型兼容性,将芯片AI算力更好更直接地开放给开发者。此外,HUAWEI HiAI Foundation还推出端云协同、模型可视化、Model Zoo、自主调优工具包、多IP深度协同等多种解决方案和能力,为众多业务场景打造更高性能更低功耗的计算环境,助力开发者快速开发和部署AI应用。
从平台架构来看,HUAWEI HiAI Foundation衔接智慧业务和计算芯片,上层支持MNN、TNN、华为MindSpore Lite、Paddle Lite、KwaiNN等合作伙伴的框架对接,利用推理加速平台(Foundation DDK)和异构计算平台(Foundation HCL)将AI任务调入NPU/CPU/GPU/DSP等IP中进行计算,赋能手机、平板、智慧屏、车机、手表等终端设备,将更多好玩酷炫的AI应用带到消费者面前。
(HUAWEI HiAI Foundation 开放架构)
五大性能优势,助力开发者高效灵活开发
• 端云协同:针对新业务场景算子以及已有典型业务场景算子,提供性能优化、快速升级平台能力的解决方案
当前,AI业务和算法模型都在持续快速演进,AI计算平台适配新业务和新算法快速升级成为难题。端云协同具备可变的计算框架、广适的模型结构,助力开发者快速支持新模型、上线新业务,让消费者快速获得端侧AI带来的体验提升。
以往,消费者想要体验到最新的AI功能与服务,需要等算子库更新,而算子库内置在手机ROM中,手机新版本更新,算子库才能随之更新。当旧手机的ROM不再更新,算子库的更新便成为难题。端云协同能够让老手机用户不受终端版本的限制,更灵活地享受更新、更优质的服务。基于华为端芯云三端打通的优势——底层是计算芯片及HUAWEI HiAI Foundation,端侧有预置的HiAI Engine,云侧有自己的计算库插件更新云,HUAWEI HiAI Foundation可以将算子库放到云端。当有新支持的算子或性能优化发布后,HUAWEI HiAI Foundation会在闲时静默自动更新新的算子库,开发者只需在APP开发时正常调用,无感使用升级后的计算能力,让老手机焕发新生机。
(HUAWEI HiAI Foundation端云协同)
未来,HUAWEI HiAI Foundation将利用这条端云协同的通路进一步放大端侧AI能力,通过端云协同的算子搜索、融合策略、异构分段策略等技术赋能NPU机型,快速且低成本解决开发者的技术难题,支撑更多视频、文本、语义等业务的上线。
• Model Zoo:辅助开发者优化模型结构,更好地利用麒麟芯片NPU加速优势
开发者在业务开发过程中,为了最大程度利用芯片算力,不可避免地需要针对麒麟芯片的硬件结构做一些模型调整,这个过程可能会出现效率低,资源利用不足的情况。HUAWEI HiAI Foundation打造Model Zoo,将麒麟芯片NPU友好的模型结构、Backbone、算子放进去,供开发者自行挑选,辅助其优化模型结构,更好的发挥麒麟芯片NPU的加速优势。HUAWEI HiAI Foundation的底层模型结构可视化已经在Netron工具适配上线,方便开发者开发调试。
• 模型量化工具包:让开发者的APP更快、更小
正常情况下,开发者训练的模型是32bit,这样的模型计算精度固然高,但对手机功耗和内存的要求也比较高。HUAWEI HiAI Foundation为开发者提供模型量化工具包,在满足计算精度的前提下,可以把原始模型直接量化为更小、更轻便且最适合NPU结构的低比特模型,无需开发者做二次调整,从而节省手机空间,降低计算资源的消耗。
模型量化工具包支持无数据量化和训练感知量化,以达到性能与精度的平衡;支持8bit/4bit+2bit模型量化,支持自适应混合量化,实现模型性能与大小的平衡。譬如,开发者基于ResNet50、InceptionV3等典型网络模型进行量化,量化后的int8模型在精度几乎不损失的情况下,模型大小仅为原来FP32模型大小的四分之一。
(HUAWEI HiAI Foundation模型量化工具包)
• 网络结构搜索工具包:让网络设计更简单、更有效
网络结构搜索工具包支持多种类型的网络结构搜索任务,包含分类,检测和分割。通过精度,性能目标牵引,协同硬件信息通过最优化搜索算法获得最优的网络结构,得到最佳的性能提升。网络结构搜索工具包支持多种主流训练框架使能,包含:caffe,tensorflow,pytorch。同时针对多种主流硬件平台具有算力和时延建模的能力。
(HUAWEI HiAI Foundation网络结构搜索工具包)
• 多IP深度协同:各计算单元共用DDR内存,提升性能降低功耗
HUAWEI HiAI Foundation在芯片裸算力开放的同时,还具备芯片底层多IP深度协同的优势。多IP深度协同的好处在于,CPU、NPU等各计算IP共用DDR内存,在ISP、CPU、NPU、GPU等IP之间最大程度减少拷贝数据流转的开销,既可提升性能又能降低功耗。
日调用量突破600亿,引领端侧AI行业标准构筑
如今,AI技术在端侧的应用越来越广泛,语音识别、图像识别、图像分割、图像超分、人脸识别、文字识别等已经成为全民通用的技术,消费者期待更好玩的AI应用出现,希望获得更优质的AI应用体验。HUAWEI HiAI Foundation为AI应用开发提供了基础保障,让开发者能够突破性能瓶颈,提高开发效率,节省计算资源,更好地投入到AI玩法的研究与落地中,满足消费者对智慧生活的美好期待。
具体而言,接入HUAWEI HiAI Foundation开放生态的价值体现在高效实时运算、保护隐私和节省成本三个方面。
其一,从隐私保护的角度来看,应用中涉及的用户隐私数据,譬如人脸数据、指纹数据等更应该留在本地,避免上传云端带来不必要的麻烦。HUAWEI HiAI Foundation助力开发者在端侧实现AI计算,能够更好地保障用户隐私安全。
其二,相较于云端计算,端侧计算具有低时延的优势,HUAWEI HiAI Foundation支持更多AI模型在移动端高效运算,避免端云交互所带来的延时和流量开销,提升用户体验。
其三,基于HUAWEI HiAI Foundation直接开放的芯片算力,开发者可以将更多的AI模型部署在端侧,节省开发成本。以视频超分为例,当用户在手机上观看1080P的视频时,如果开发者不使用超分技术,就需要从服务器上刷1080P的高清码流到手机上;反之,如果开发者使用视频超分,则只需要在服务器上刷低分辨率的码流过来,在手机端做超分处理。如此,开发者既可以节省带宽,同时帮用户节省了下载高清码流的流量。
据统计,HUAWEI HiAI Foundation自2018年开放以来,以高性能、低功耗、高易用性收获越来越多的开发者青睐,短短3年间日调用量从100万+增长到600亿+。抖音、剪映、支付宝、淘宝、爱奇艺、美颜相机、轻颜相机、快手、百度地图等头部应用已先后接入HUAWEI HiAI Foundation,利用端侧AI强大的计算能力,为用户打造智能新体验。
(HiAI Foundation日调用量突破600亿+)
以爱奇艺为例,HUAWEI HiAI Foundation芯片开放能力,助推爱奇艺快速实现视频超分AI功能在端侧部署的突破。在爱奇艺V12.1.5版本中,爱奇艺与HUAWEI HiAI Foundation合作在手机端新增了增强画质功能。基于爱奇艺ZoomAI 智能超分算法突出视频画面中的细节纹理,抑制锯齿和底噪,搭配色彩增强算法效果,在完全不影响帧率的情况下完成了视频的实时画质增强处理,让画质变清晰,视频整体画面更显精细。
在双方的合作中,爱奇艺工程师通过与HUAWEI HiAI Foundation进行框架对接,快速将原始模型转换成华为Davinci Model,并通过Davinci Model的调优技术,优化模型结构,充分发挥硬件单元的算力,令模型算子以更低功耗在手机端侧高效运转。在此次部署中,HUAWEI HiAI Foundation还使用图融合调优技术,减少模型算法对DDR的依赖,以提升模型性能降低系统功耗。HUAWEI HiAI Foundation还配备了丰富的调试工具链和模型可视化工具,帮助爱奇艺工程师快速解决对接过程中遇到的功能和性能相关问题。
如果说2017年端侧AI还只是一颗种子,如今随着AI算力不断突破,AI开放平台持续赋能,AI开发者想象力不断迸发,端侧AI已经逐渐生根发芽、茁长成长。为了助力端侧AI行业繁荣发展,HiAI Foundation在优化平台性能的同时,已加入AI标准化组织AITISA(人工智能产业技术创新战略联盟),并参与端侧AI标准草案撰写,共同构筑AI行业标准。据悉,该草案将于2022年正式发布。
原文标题:深度解析:HUAWEI HiAI Foundation如何助力AI应用高效开发?
文章出处:【微信公众号:华为麒麟】欢迎添加关注!文章转载请注明出处。
责任编辑:pj
全部0条评论
快来发表一下你的评论吧 !