专为中国市场而来，Arm携手安谋科技打造全新Arm智能视觉参考设计

中国在智能物联网、机器学习方面的快速发展有目共睹，其视觉应用和创新水平处于世界领先地位。然而当前中国许多IPC视觉系统已经进入红海市场，如何帮助合作伙伴进行差异化设计，免去重复的基础IP整合工作和基础软件开发工作呢，ARM基于这样的观察和思考，近期与安谋科技携手合作推出全新Arm 智能视觉参考设计，可谓十分契合中国市场的特点。


 

Arm 智能视觉参考设计的组成

 
Arm Corstone-1000：整合 Cortex-A、Cortex-M 处理器与内建安全性，为不同应用在受限的功耗范围内提供效率及高性能。

Arm Corstone-300：为机器学习工作负载提供“永远在线”的低功耗子系统。

Arm Mali-C55 图像信号处理器 (ISP)：在极小的芯片面积条件下，提供可配置、高能效、高性能的图像质量。

来自安谋科技的第三方 IP 在视频和机器学习能力方面提供更多选项：

包括：“玲珑”V5 视频处理器：支持紧凑的、多格式 (例如H.264, H.265) 且高效能的视频编解码处理。

“周易” NPU：为广泛的机器学习用例提供高达 4TOPS 的性能表现，并且支持业界主流的 AI 规模框架，例如 Tensorflow、Caffe、ONNX、Pytorch 等。
 


Arm物联网事业部业务拓展副总裁马健Chloe Ma解析，Arm智能视觉参考设计采用成熟的 Arm CPU IP 作为基础，要知道Arm CPU 在智能摄像头领域有九成以上的份额，已经用于诸多智能视觉品牌设备。
 
Corstone 是一套预先经过集成并验证的子系统，即是Arm 物联网解决方案的根基。旨在加速芯片产品流片和量产。其中，Corstone-1000 是首款为 Cortex-A 设计的子系统，该方案基本配置是经过量产考验的 Cortex-A35 或 Cortex-A53，并取得了Arm SystemReady IR 认证，确保 Linux 等操作系统的开机即用，并简化软件开发。
 
Corstone-300 在智能视觉参考设计中，作为低功耗待机子系统，降低边缘设备的功耗，提高系统效率。


 
参考设计中的 ISP 选用的是 Arm 去年六月发布的 Mali-C55，也是 Arm 迄今为止面积最小、功耗最低、且可配置性最高的 ISP 产品。Mali-C55 提供升级的图像质量功能，可以在各种不同的照片和天气条件下工作。像其他 Arm 产品一样，Mali-C55 拥有全方位的软件工具支持，包括软件驱动实现自动曝光、自动白平衡、自动对焦的 3A 库以及全套调校和校准工具，并有 Arm 批准的 ISP 调优合作伙伴助力客户达到最优画质。



同时，安谋科技为此设计贡献的玲珑 VPU 提供了紧凑、多格式和高效的视频编解码器，以及周易 NPU 的高达 4 个 TOPS 的 ML 加速，使该参考设计可以支持机器视觉的用例。



安谋科技智能物联及汽车业务线负责人赵永超在介绍此次安谋科技自研 IP与 Arm CPU、ISP合作时表示， Arm 智能视觉参考设计通过集成安谋科技“玲珑”VPU 和“周易” NPU，并由安谋科技将 Arm IP 与安谋科技自研 IP 进行集成和验证，可进一步满足国内客户在不同场景下的差异化视频处理需求，提高机器学习与视频处理工作时的负载表现，从而加速视觉应用产品的创新落地。


 

合作伙伴生态 

在发布参考设计的同时，Arm启动智能视觉合作伙伴计划，携手 AI 视觉、芯片设计、软件、算法、系统集成等伙伴共同打造基于 Arm 架构智能视觉应用的强大生态。生态合作伙伴的加持将进一步加速视觉硬件、软件和系统的开发。



马健表示，智能视觉参考设计的目标受众通常是边缘 AI 领域公司的初创公司、跨界创新公司或者是希望进行垂直整合的系统公司。但由于种种原因，这些公司并不拥有涵盖所有芯片架构前端、后端设计师的庞大团队，那么就需要芯片设计服务公司、软件开发者、系统集成伙伴共同助力。
 
例如，Arm 智能视觉参考设计包含了云原生的开源视觉软件堆栈，但是该软件栈距离面向不同视觉市场的量产软件还存在着差距，这就需要智能视觉软件开发经验的合作伙伴来帮助客户适配不同的应用场景，为不同的 OEM 定制软件，并进行整合、测试和调优，达到量产水平。系统集成伙伴通常具有芯片设计、固件软件开发、创建 FPGA 甚至开发板的综合能力，可以提供一站式服务。
 
生态伙伴可借由 Arm 虚拟硬件 (Arm Virtual Hardware, AVH) 的形式获取 Arm 智能视觉参考设计的虚拟模型，助力软件开发者在芯片完备前先着手开发并优化代码。该参考设计具备可信任的底层 IP 技术，在增强安全、可移植性与兼容性方面，已取得 Arm SystemReady IR 与 PSA Certified Level 2 等重要的业界标准认证。
 
在Arm 智能视觉合作伙伴计划之下，百度飞桨已经实现了基于飞桨的视觉模型库和 Arm 虚拟硬件的整合适配。诚迈科技作为软件设计合作伙伴，在日前成为中国第一个 Arm 批准的 ISP 调优伙伴。另外厦门星宸科技在月初通过了 PSA 安全认证，展示了智能视觉界领军者对安全和隐私保护重视程度的提高。
 

智能视觉支持AI小模型部署

 
尽管我们已经来到了AI的大模型时代，不过，AI应用并不都在云端，大量边缘端将更加注重运行 AI 小模型，智能视觉在支持AI应用上将发挥重要作用。
 
马健认为，视觉作为感官对于以后的行动无处不在的避障、安全都是至关重要的。如果是有高情商的机器，比如聊天机器人也需要视觉才能观察到人类的反应和情感，更好的和人类交流。接着就是对模型优化方面智能视觉也是可以有帮助的。
 
在整个视觉堆栈和 AI 堆栈从云端延伸到边缘侧和端侧时，首先要求模型设计的合作伙伴，在模型方面做到稀疏化，将云端设计的大模型做到边缘侧有效的部署。同时，边缘侧设备，整个芯片架构从同构的CPU架构到异构CPU加上加速器架构，能够更好的支持小模型，让它们能在边缘侧甚至端侧进行部署。同时，在软件方面，Arm持续为一些传统嵌入式和边缘软件开发者，提供非常坚实的软件工具，无论是视觉软件库或是 AI 软件库，甚至一些 AI 的model zoo模型集合，都能助力他们达到视觉系统的开发和量产。
 
小结：
 
Arm认为未来的智能视觉解决方案将全部基于异构计算，预计异构计算解决方案的所有要件，如CPU、ISP、机器学习，都需要更高的性能和效率，以满足不断涌现的新用例需求。
 
Arm也在打通硬件平台碎片化壁垒，促进 AIOT 生态成熟。马健表示，Arm作为智能物联和 IoT 的基石，能够提供例如 SystemReady 标准和物联网安全认证体系。Arm 坚信标准对于逐渐削弱碎片化会起到非常重要的作用，在标准化方面Arm有多个计划，将和产业伙伴共同推动整个生态系统的建设。