Arm物联网再发力，智能摄像头技术升级，最新Mali-C55 ISP IP有哪些高招？

最近，Arm发布Mali-C55新一代高性能、低面积、易配置、超高清图像处理器IP，以及相应的软件和工具链，便于开发者使用和配置这些先进的图像处理能力。
 
据悉，瑞萨电子 (Renesas) 已经率先选用了Arm的Mali-C55。搭载Mali-C55的芯片跟终端设备有望在2023年面市。
 
Arm为何在此时推出Mali-C55 ISP IP，该IP有哪些独特之处呢，Arm物联网兼嵌入式事业部业务拓展副总裁马健Chloe Ma向电子发烧友网等科技媒体做了详细的解读。
 

面向智能摄像头的 Arm Mali-C55

 
市场数据显示，商用和消费类智能摄像头市场规模，从2021年250亿美元，有望2025 年达到450亿美元。高速增长的视觉应用正在逐渐深入各行各业，包括支持高清商务视频会议、安防/智能监控、智慧城市，乃至电池供电的可视门铃和智能猫眼等应用非常广泛。
 
在性能方面，Mali-C55的吞吐量高达1.2Gpix/sec，支持高达8路的多流处理。在图像处理品质方面，Mali-C55 不仅可以轻松处理8K高清，高达4800万像素分辨率，而且还显著提高了色调映射和降噪能力。
 

 
Arm Mali-C55在性能大幅度提升的同时，对面积做了深度优化，Mali-C55仅用一半的芯片面积就实现了品质和性能的提升，更适用于低功耗智能终端和边缘应用，也进一步将图像处理和AI在边侧完美结合，提升了边缘AI的性能。
 
由于IP的模块化设计，Mali-C55 更易于配置，可以支持各种画质、性能、能耗、面积的组合，能够触及更多的用例。与此同时，Mali-C55 也更易于整合，包括与ML加速器整合实现边缘智能终端上本地视频数据处理，以及通过标准的AXI和AHB接口，与现有的Arm Cortex-A和Cortex-M系列的CPU进行无缝对接。
 
Chloe Ma分析，高可配置性方面，客户和合作伙伴们可以根据他们的目标应用所需要的特性和功能对 Mali-C55 以及其他芯片上的 IP 做一些精准配置，这样更能实现低延时、低能耗、面积优化的设计。

高可配置性的好处显而易见，比如在安防监控领域，室外的摄像头成像经常会受到光线、天气和物体移动速度等因素的影响。借助 Mali-C55 增强的色调映射和降噪能力，人脸和物体识别就会更加精确，并且在车辆以时速 120.7 公里的速度行驶的情况下，也能做到比较准确的车牌识别。
 
在智能家居领域，可视门铃经常是电池供电，所以对能耗的要求特别高，Mali-C55 的低面积、低能耗特性，使智能可视门铃产品更耐用，并且能够更准确地根据人脸识别的结果进行开锁。
 
“Arm 作为智能摄像头领域的领先 IP 提供商，我们的 Cortex-A 系列 CPU 基本上占据了较大的市场份额。未来智能摄像头除了包含基本的 CPU 之外，也会更多地使用 ISP 和 ML 加速器，通常我们的一些NPU 或者通用 GPU、ISP 等 IP 都会逐渐地在现有或者下一代芯片中得到应用，用于从图像中提取更多有用的信息。对于实现高效的系统设计而言，拥有可针对此类活动所需要的数据类型和处理进行匹配的ISP是非常重要的。”Chloe Ma说道。
 
总之，随着智能摄像头的应用更加广泛，行业朝着更高分辨率和更复杂的图像处理方向发展，ISP 的性能也成为支持更高计算工作负载的非常关键的组件。Mali-C55 正是为了满足这些趋势的要求所设计的。
 
去年10月Arm物联网全面解决方案 (Arm Total Solutions for IoT) 发布，今年4月底更新。这将是Arm面向客户应用，简化芯片开发，加速IoT产品设计的主要产品上市途径。后续每个推出的解决方案，都会包括 Arm Corstone 子系统的参考设计，Arm 虚拟硬件和诸如Project Cassini 和 Project Centauri 的生态计划和软件实现。据介绍，最新的Mali-C55 也不例外，未来推出的智能视觉全面解决方案，将包括这款最新的 Mali-C55 ISP，使机器视觉更加敏锐。
 
 

Arm在物联网领域看到的机会

 
在物联网领域，Arm将以全面解决方案 (Total Solutions for IoT) 的产品方式协助客户因应市场需求。Chloe Ma表示，在中国的物联网领域，应用都处在世界领先水平，比如在智能视觉方面，由于中国人口密度非常大，所以在智能安防和监控方面对图像处理的画质和性能提出更高的要求。中国是一个制造业大国，智能制造等智能产业都受到大力的扶持，而智能制造需要在智能语音、智能视觉方面得到更多应用。同时，在零售领域，中国在智能化方面也处于非常领先的市场水平，如智能无人售货柜、智能无人店，以及无接触的智能购物。从 Arm的角度来看，我们会与中国本土用例进行创新的芯片和系统厂商、软件厂商、算法厂商持续进行紧密合作，推出更适用于未来趋势和中国本土用例、本土需求的更先进的产品。
 

 
具体到Arm在物联网的策略有两点：一是边缘智能，未来物联网市场的发展会从万物互联到万物智连，智能包括智能视觉、智能听觉等技术，这也是Arm的解决方案投资的焦点。二是，Arm 希望能够在比较通用的市场上，如MCU、NPU市场，推出更先进的产品，使这些通用市场得到性能提升，更好地支持AI、ML等工作负载。