HUAWEI HiAI Foundation Model Zoo助力开发者快速开发和部署AI应用

当前，人工智能产业飞速发展，用户对AI智能体验的需求不断升级，而一个出色的AI应用或AI体验的诞生，很大程度上依赖于底层芯片算力的极致发挥。

作为麒麟芯片计算能力的开放平台，HUAWEI HiAI Foundation提供300+算子支持，具备业界最佳的模型兼容性，助力开发者快速开发和部署AI应用。但麒麟芯片计算能力开放还只是第一步，为了更好地利用麒麟芯片NPU的优势，降低开发工作量、提高开发效率，HUAWEI HiAI Foundation与众多开发者在业务对接中，还需要解决诸多难题。

其一，开发者设计的模型大多是基于CPU或GPU运行，当模型部署到NPU时，需要进一步为NPU做设计匹配，这对开发者而言是陌生的。举个例子，模型设计时，更小的Channel拆分和更多的Vector算子，将无法发挥NPU的性能与功耗优势。

其二，因开发者的模型结构对HUAWEI HiAI Foundation保密，在需要对AI模型进行调优时，双方团队沟通解决问题的时间成本较高，开发效率低。

洞察上述痛点后，HUAWEI HiAI Foundation技术团队迅速行动，在最新版本100.510.020.010中创新性地推出了HUAWEI HiAI Foundation Model Zoo，将当前已经识别出来的NPU友好模型展示给开发者，帮助其设计 NPU友好模型算法结构、了解NPU优化策略，更好地发挥麒麟芯片的NPU加速优势。

HUAWEI HiAI Foundation Model Zoo提供可直接调用的硬件最优模型库，集成图片分类、物体检测、语义分割、超分等典型场景的网络模型，包含IR算子性能调优使用指导，以及NPU性能友好模型结构和推荐指数，帮助开发者快速了解，哪个算子的哪种参数取值在硬件上能够获得更好的性能和能效的收益，如何优化模型结构可以实现高性能与低功耗。目前，HUAWEI HiAI Foundation的模型结构可视化已经在Netron工具适配上线，可以支持开发者打开Model Zoo中的模型文件，方便调试。

实测数据显示，Resnet18模型在CPU上推理耗时74ms，在NPU上推理仅耗时6ms，耗时降低90%以上，可见NPU加速后性能优势明显。除此之外，开发者的工作效率也明显提高，参考Model Zoo提供的OM模型，开发者可以基于自身业务需求进行模型训练，省去了将原始模型转换成OM模型的过程，提升了DDK易用性。

当然，HUAWEI HiAI Foundation Model Zoo的目标远不止于此。除了解决开发者的模型设计痛点，HUAWEI HiAI Foundation Model Zoo还在着手构建NPU算法交流平台，针对互联网生态开发者和高效算法研究者，上线Model Zoo门户网站，通过模型分类、查找、上传功能，建立模型评分机制，提供算法开发者社区讨论平台等，辅助开发者高效开发适用于NPU平台的模型算法。未来，HUAWEI HiAI Foundation Model Zoo将支持端云协同的模型训练、调优和部署流程，支持算法悬赏任务机制，构建完整的NPU算法生态，最终实现HUAWEI HiAI Foundation社区的自繁荣。

原文标题：自主调优AI模型结构，麒麟芯片NPU加持！HUAWEI HiAI Foundation Model Zoo上线

文章出处：【微信公众号：华为麒麟】欢迎添加关注！文章转载请注明出处。

　　审核编辑：彭菁