海康AI-ISP技术在车载的应用场景

ISP(Image Signal Processing, 图像信号处理器)是连接图像传感器与终端呈现的关键枢纽。车载摄像头的传统 ISP 通过一系列数字图像处理算法(运行在PipeLine)，对图像传感器输出的原始信号进行优化，处理图像噪声、亮度、色彩等要素，实现摄像头画面的校正、色彩还原、图像增强、3A统计等基础处理。但面对复杂场景下更完美画质的追求，传统 ISP的技术瓶颈逐渐显现 — 例如传统ISP无法抑制Sensor或者ISP高增益模式下的噪点，因此一般其增益会限制在36dB，最大不超过42dB，从而会影响摄像头的可见性，在低照场景下能见度低，难以在极暗光环境下实现清晰成像。

为了解决行业痛点，众多厂家开始探索AI在ISP的应用。例如安防行业先期推出的AI-ISP能够在NPU上进行深度学习处理，NPU核上能够完成降噪、超分辨率、去雾等深度学习算法，深度学习处理后接回ISP-PipeLine完成后续处理。使用这类AI-ISP后，能够利用其超强的降噪能力，增加增益使用范围，从而获得更好的可见性，低照下也能取得极好的能见度，并且可以大幅增加产品的信噪比，对于非绝对低照环境也可以提升画质：

但上述AI-ISP由于算法处理链路较长(涉及NPU-DDR-ISP)增加了延时，为了降低延时更适应车载应用，海康定制的车载AI-ISP创新地把AI模块串到ISP-Pipeline中，其深度学习算法直接在ISP-Pipeline中运行，大幅节省了处理时间，可做到时延小于5ms(约1/10FPS)。

海康定制的车载AI-ISP可以应用到车载多类摄像头产品当中，比如环视摄像头、OMC摄像头、流媒体摄像头等，使得用户获得更好的观感体验。

AI-ISP在车载的应用场景

3M环视摄像头(低照场景)

传统ISP无法抑制Sensor高增益模式下的噪点;车载AI-ISP在显著提升感光度的同时精准抑制噪声，达成亮度与画质的双重跃升。

全彩OMC摄像头(低照场景)

传统OMC Sensor选用RGB-IR方案，由于低照度效果受限需要开启红外补光，在红外模式下，使用IR来感光，不仅失去了色彩信息，且感光分辨率也只有全画幅的1/4;全彩OMC使用AI-ISP取消了红外模式，既保证了低照度效果，又保留了色彩信息，并且感光分辨率能够保留全画幅提升画面清晰度。