如何打造优质的自动驾驶ISP

在让汽车洞察秋豪——秒懂自动驾驶ISP（一）中，我们了解了什么是ISP、自动驾驶ISP的特殊性以及黑芝麻智能NeuralIQ ISP优势，本期我们将深入理解打造优质的自动驾驶ISP，需要经过怎样的图像质量调试和其背后的技术原理。  

ISP 图像质量调试

ISP图像质量取決于算法设计和效果调试两个方面。算法设计负责提供优良“基因”的图像处理算法功能，通过调试灵活的适配不同特性的摄像头 (各类镜头、CFA、HDR策略)，输出满足用户需求的图像质量效果。

典型的ISP调试流程如下图所示：

图1 ISP调试流程

需求确认：确认调试摄像头的分辨率、帧率、工作模式、应用方向；

模组检查：摄像头硬件品质检查（模组、sensor、镜头）；

参数标定：不同sensor特性差异补偿；

客观调试：通过图像质量客观指标的把控保证ISP 基础调优效果；

主观调试：针对特定应用方向和客户需求迭代细调；

自动驾驶ISP调试

近年来，越来越多的摄像头应用于汽车系统，已经成为现代汽车中不可或缺的一部分。对于自动驾驶的安全性而言，摄像头输出的图像质量至关重要。车载摄像头以感光成像为理论基础，实际使用中面临着复杂使用环境的诸多挑战：

夏日晴天极亮到夜晚无灯极暗的大尺度场景照明亮度变化范围；

同一场景下，超过120db 的高动态范围（HDR）；

各种极端天气：雨、雾、雪、沙尘；

复杂的光源环境与颜色还原，LED Flicker；

大景深范围与探测距离；

低速/高速运动场景；

面对如此多的挑战，结合不同的自动驾驶应用，给车载摄像头ISP 的调试提出了不同的需求。举例来说：

高级驾驶辅助系统ADAS：AEC/AWB响应时间、HDR还原、低光信噪比、颜色准确性、运动模糊、高分辨率sensor适配性；

360°全景环视系统SVS：鱼眼镜头暗角补偿、多摄像头调试效果一致性；

驾驶员监控系统DMS：感光灵敏度与信噪比、图像清晰度；

电子后视镜CMS：HDR恢复、监视器显示图像质量；

黑芝麻智能图像质量调试案例

运动模糊 vs 噪声水平

对于自动驾驶常见的夜晚低光场景，ISP 输出图像为了获取合适的图像亮度，往往需要将曝光时间增长到最大值，并且提高增益的补偿。

运动场景曝光时间的增加会带来运动模糊问题，增益的设置则会影响到图像整体的噪声水平。尤其是大FOV镜头成像的边角区域，一方面边角透视失真导致运动模糊更加严重，另一方面由于镜头阴影亮度补偿噪声水平也会更高。如何平衡曝光时间和增益的分配，并调试合适的去噪参数，是处理这类问题的核心考量。

当曝光时间从28ms 变化到20ms时，运动模糊可以得到改善。但是为了保持图像亮度一致，左图需要用到更高的sensor 增益，从而导致了更高的噪声水平。

对于自动驾驶ISP调试而言，需要优先考虑感知算法能容忍的运动模糊像素个数上限。然后依照特定应用的车辆速度、场景距离、焦距、像素尺寸，反推出对应的最大曝光时间；再依照该最大曝光时间的AEC设置，调试不同场景的去噪参数。

左侧结果图通过运用多帧3D去噪，可以进一步的缩短曝光时间，显著改善运动模糊的同时，尽管单帧图像的增益高达9倍（为了保持图像亮度一致），处理结果的SNR也与右侧3倍低增益图像类似，噪声得到了很好的抑制。

亮度 vs 对比度 vs 噪声水平 vs 图像细节

低光照或不均匀光源的环境, 对图像的噪声/亮度/对比度/细节带来了极大的挑战。

图像对比度作为一种图像内容增强方法，原理上也会增强图像噪声内容。

在ISP调试中，亮度vs对比度 vs 噪声水平vs图像细节是一个多模块耦合调试的典型例子。实际中，需要根据应用需求，通过多场景调试，平衡各样例最优效果。

黑芝麻智能 NerualIQ ISP 对于图像亮度vs对比度 vs 噪声水平vs细节耦合调试的一个示例。场景为路灯光晕影响下, 暗处的表现。左侧的结果，图像亮度太暗，导致无法分辨细节。中间的结果，通过提升图像亮度，图像整体轮廓辨别度提升，但是因为对比度不够，细节内容仍较难分辨，亮度的提升也一定程度带来了噪声水平的提升。右侧的结果，通过平衡亮度和对比度，然后结合适当的去噪参数调整，图像整体轮廓和局部细节（穿反光衣服的行人）都得到了较好的图像质量恢复。

交通灯颜色还原 vs 整体颜色还原

白平衡是ISP调试颜色还原时需要面对的一个经典问题。白平衡问题有两个起源，一是黑体辐射，二是人眼颜色恒常性。

图 7 色度图标注黑体辐射普朗克轨迹

（图像来源：https://en.wikipedia.org/wiki/Black-body_radiation）

在任何条件下，对任何波长的外来辐射完全吸收而无任何反射的物体定义为黑体。黑体辐射的电磁波的光谱特性只和黑体的温度有关。如图7所示，随着温度升高，黑体辐射的颜色呈现由红—橙红—黄—黄白—白—蓝白的渐变过程，黑体的这个温度称为该光源的色温。

常见光源的色温和光谱曲线如下图：

图 8 不同光源光谱曲线

（图像来源：https://www.image-engineering.de）

例如，白炽灯的光色是暖白色（图8的A光），其色温为2700K，而日光色荧光灯的色温则是5000K左右（图8的D50光）。

人眼颜色恒常性是指，当照射物体表面的颜色光发生变化时，人们对该物体表面颜色的知觉仍然保持不变的知觉特性。很好的例子是当我们进入一个白炽灯照亮的房间一会儿以后，就不会有光线昏黄的感觉了。

对于以CMOS、CCD 为代表的图像sensor而言，在不同色温和光谱的光源照射下，Bayer RGB 三通道的响应比例是不同的。这必然导致如果不经过处理，图像的颜色响应会出现显著的不一致，提升了后续感知算法处理的困难。

ISP 中的自动白平衡（AWB）功能即专门针对这个问题设计。一个优良的AWB算法+调试结果，能比较准确的判断出成像场景的色温范围，并根据已经标定好的sensor 光谱特性，转化为该场景下B和R通道的补偿增益值，实现“白色做白”。

以上是理想的情况。对于自动驾驶而言，特别是夜晚场景，通常会包含不止一个光源。如果这些光源的色温不一致，就会产生典型的混合光场景问题。

如果需要将整体颜色还原为白色，需要加较多的B通道增益，导致绿灯效果偏青，即左图效果。右图通过限制B通道增益，绿灯颜色还原效果较好，但整体效果偏暖。

该场景也是一个混合光源场景，隧道内照明灯色温偏低，颜色偏暖，隧道外阳光直射色温偏高，颜色偏冷。除此以外，该图像sensor使用了大小像素LPD-SPD技术，针对HDR场景，长曝光使用大像素采集用于合成暗区（隧道内），短曝光使用小像素采集用于合成高光区（隧道外）。由于大小像素光谱响应不同，进一步加重了隧道内外颜色差异（左图结果）。针对这个问题，黑芝麻智能 NerualIQ ISP 专门设计了针对大小像素颜色差异补偿的处理算法和调试策略，依照预先标定的大小像素感光差异，动态调整小像素的AWB和CCM，使之处理输出颜色尽量接近大像素。调试结果如右图所示，通过调试，隧道外异常偏蓝色问题得到了较好的改善。

结语

所谓“大厨做菜，众口难调”。通过以上几个实际的调试例子，我们可以认识到，从原理来说，ISP调试的一般目的，不应当设定为解决所有的图像质量问题。而是应该根据不同模组、不同应用、不同客户的差异化需求，通过差异化参数调整，最大化ISP算法设计的潜能，使输出图像质量定制化满足特定需求。

审核编辑：郭婷