从ISP到AISP，让智能汽车看得见、看得清、看得远

电子发烧友网报道（文/吴子鹏）照度(Lux)是判断光照场景的主要指标，人眼能感受色彩低照度的极限为1Lux，市场上夜视相机的极限光照度基本在0.01Lux。不过，随着智能化设备的普及，一些设备开始要求能够在0.0005Lux，甚至是0.0001Lux这样的超低照度场景下精准地捕捉信息。这样的应用有很多，比如无人机航拍、森林防火、旷野安防，以及我们今天要重点谈论的自动驾驶场景，等等。

超低照度的应用场景加重了ISP工作的负担，甚至是已经超出了传统ISP的性能范围，这便是AI ISP诞生的背景，安霸（Ambarella）则是将自己的AI图像信号处理器称为AISP。安霸针对AISP技术有哪些创新的解决方案，安霸半导体图像算法总监路遥接下来给大家带来独到的见解。
 

高度灵活的可编程流水线设计

ISP的主要作用是负责接收感光元件（Sensor）的原始信号数据，然后对这些数据进行线性纠正、噪声去除、坏点去除、内插、白平衡等后期处理，因此能够很好地还原现场细节，提升成像质量。
 
在ISP中，整个pipeline有不同的模块负责不同的功能。AI ISP的理念则是通过神经网络来实现ISP的部分功能或者全部功能。因此不难看出，AI ISP对ISP整个工作流程进行了全面的革新，也能成为AI ISP产品的创新点。
 
作为专注 AI 视觉感知的半导体公司，安霸一直是传统ISP技术的领先者，在传统ISP的设计与迭代中，安霸积累了大量的原始数据，包括了图像处理的困难场景和容易出错的极端情况等。“得益于这个庞大且完整的数据集，我们完整地训练了安霸的AISP，使之可以适应各种使用场景。另外，我们计划提供云端的训练模型，让我们的客户可以重新训练AISP。”路遥在接受电子发烧友网采访时讲到。
 
当然，虽然都叫AI ISP算法，不过各厂商之间的实现方式还是有明显的区别的。安霸也是有自己的IP 的ISP流水线，这个流水线具有高度可编程特性，并且以其优异画质和高度灵活的特性而著称。
 
我们都知道，让AI ISP能够发挥作用的重要部件是NPU，这个元件在ISP芯片内部帮助进行AI分析。在安霸的AISP方案里，无论是单芯片还是集成到安霸SoC，均有AI 硬件加速引擎CVflow（安霸的NPU）和算法协同工作，以极低功耗提供了强大的前端设备的AI算力，给AISP提供了坚实的算力基础。
 
AI算法和NPU的结合，便是AI ISP发挥威力的核心环节。路遥指出：“通过安霸自有IP 的ISP流水线和AI 硬件加速引擎CVflow的协同，安霸的AISP极大提升了暗光画质，远远超过传统的ISP画质，将暗光全彩产品的标准提升到了一个新的高度。使用这种设计，我们可以灵活地控制AISP的融合输出，以满足客户的各种需求。”
 
在硬件设计上，根据电子发烧友网的了解，安霸芯片针对边缘端SoC精心设计了硬件架构，以确保在不牺牲性能的前提下，尽可能降低功耗和芯片面积，并且安霸一直追求最先进的芯片制程，而采用先进的制程技术可以提高性能，减小芯片面积，并在一定程度上降低功耗。在芯片内部，图像处理和AI算法的实现经过高度优化，以在保持高性能的同时降低功耗和芯片面积。
 

AISP为自动驾驶赋能

ISP是摄像头和各类应用之间的桥梁，而我们都知道，摄像头是目前实现智能驾驶，未来实现自动驾驶不可或缺的一类传感器。在车辆行驶的过程中，光照条件千变万化，像进出隧道、地库，以及旷野夜晚驾驶等场景，亮暗比例远远超过目前绝大部分摄像头单次曝光可以覆盖的动态范围，也存在很多超低照度的场景，如何让汽车在各种光照条件下看得见、看得清、看得远，是产业共同努力的方向。
 
从部署来看，在车用场景里，ISP和AI ISP并不是非此即彼的，而是要基于场景和成本进行综合考虑，但引入AI ISP无疑会让智能驾驶的汽车更安全。在安霸看来，消费类和车规级应用有明显的不同：
消费级应用更关注AISP的低功耗设计，以确保系统的高效运行并最小化对电池的需求。
而在汽车领域，则对于硬件的稳定性和可靠性有着极高的要求。因为汽车在各种极端环境和条件下运行，需要能够稳定可靠地处理图像数据，确保车辆的安全性能。车规级应用对于实时性的要求更加苛刻。例如，车辆的感知系统需要及时准确地处理图像数据，以支持车辆的实时决策和操作。最重要的是，安霸的AISP将传统图像处理与AI处理实时融合，防止AI产生虚假感知，避免后端算法产生不准确的分析和决策，这对于确保安全性至关重要。
 
针对车端应用，电子发烧友网记者专门和路遥请教了两个典型场景的AISP应用，其一是超低照度这一使用场景，其二是CMS这一方案场景。
 
-超低照度场景

就像我们上述提到的，在地库和夜晚，汽车必然会遇到低照度，甚至是超低照度的驾驶场景，这是非常考验摄像头系统捕捉信息的能力的。针对这些场景，很多车辆已经开始配备一种杀手锏级的硬件——黑光全彩摄像头。
 
路遥表示：“夜间低光场景一直是传统ISP的痛点，也给后端的AI视觉算法带来了巨大的麻烦。安霸的AISP极大地提升了低光图像的信噪比，使得图像细节清晰，物体的边缘和纹理更加锐利，不受到噪声的干扰。同样的，AISP产生的高信噪比的图像使颜色的还原更为准确，不受到噪声引起的颜色偏移的影响，让真正的全彩夜视可以服务于人类视觉和机器视觉。”
 
-CMS方案设计

2023年7月1日，国内允许乘用车使用CMS的法规－国家标准GB15084-2022《机动车辆间接视野装置性能和安装要求》正式开始实施，产业正式进入落地元年。
 
路遥认为，CMS是一个典型的AISP服务于人类视觉的使用案例。安霸的AISP可以灵活的自适应场景，针对不同工况输出AISP的融合图像，让用户可以观察到周围环境的真实还原，在雨雪大雾或是黑夜中，AISP的输出质量更是远超物理镜，从而保障用户的安全行驶。
 
“安霸的AISP是基于自己的车规级SoC和成熟的SDK而设计，我们的硬件和软件架构设计涵盖了安全性，包括硬件防护措施，如硬件监测和错误纠正，以及软件层面的安全设计，如安全启动过程和安全通信协议，并具备对可能的故障进行适当的处理和恢复机制。”路遥在沟通中提到。
 
在产品方面他说到，安霸的传统ISP提供了让客户信服的优异图像质量，成熟的软硬件设计更是可以帮助客户快速量产，所以安霸的方案在CMS供应商中已经占据了主导位置， 有两款配置CMS的车型已经量产并又获得多款主机厂车型的定点。而AISP，是安霸对传统ISP的一次重要升级，从而进一步拉大了与竞争对手的领先优势。随着CMS国标的发布，标志着中国对CMS这个新生事物的认可与推广，安霸会继续在CMS的产业升级和技术创新中推陈出新，用最新一代的AISP去将CMS的画质推到更高的高度。
 

结语

AI ISP的出现，解决了现实需求中的设备如何在复杂光照中看得见、看得清、看得远的痛点，安霸通过高度可编程的流水线设计，配合AI 硬件加速引擎CVflow，让安霸AISP拥有领先行业的性能。
 
在汽车智能驾驶领域，安霸AISP这种性能领先优势更是格外被看重，已经开始规模性落地。“感知模块是智驾的眼睛，只有拥有最佳的视力，才能在各种挑战性工况下给智驾算法提供优质的感知信息，辅助智驾做出最佳决策。优秀的ISP就是感知模块的核心组件，而AISP更是可以将感知模块的能力提升到极致，所以说在AISP的处理下，感知模块可以远超人类视觉，从而使智驾算法更加强大。未来，安霸将持续提供更高算力的算力平台，而AISP的性能和能力也会持续进化，我们会通过AISP来帮助解决目前视觉感知中的一系列痛点，从而帮助感知算法走向新的高度。”路遥最后说。