深度解析摄像头传感器器件—CIS 芯片

　　车载摄像头常用的感光材料为CMOS芯片（互补性金属氧化物半导体器件）。这种采用CMOS的感光器件也叫CIS 芯片（CMOS Image Sensor）。

　　CIS芯片包括微透镜、光电二极管、处理芯片以及IO接口。

 

 

　　CIS芯片是摄像头模组的核心器件，占据了摄像头模组50%的价值。目前CIS芯片行业的企业有安森美、豪威科技等。以美企为主。

　　我去这两家官网逛了一下，有很多的型号可以选择，像素从30万像素到5000万像素，也有不同的输出帧率可选。下面对关键属性参数进行说明：

　　CFA：Color Filter Array，色彩滤波阵列， 图像传感器一个非常重要的属性，CFA的格式决定了我们所能看到的图像颜色。

　　由于光电传感器并不能区分光的波长（即不同的颜色），仅能感知光的强度。当前方法是在像素点上覆盖色彩滤镜（R、G、B中的一种），用于获取图像的颜色。每个像素点仅接收RGB三个分量中的一个分量，这也导致光线的能量的大量损耗。

　　色彩滤镜有多种类型，有单色mono、RGGB、RCCB、RCCC等。

 

 

　　左：单色传感器平面。右：带有拜耳阵列的彩色传感器平面

　　MONO：即单色传感器。由于滤光会带来亮度上的损失，没有滤光片亮度会大大提高，100%透传。如果不需要识别颜色，可以使用这种黑白图像传感器。

　　RGGB：为了适应人眼，手机摄影常用的是RGGB格式。这是因为人眼的视锥细胞对绿色更敏感，选择50%空间安装绿透镜，剩下25%安装红和蓝滤镜。这种标准阵列也叫拜尔阵列RGB Bayer。

　　RGB-IR：IR是Infrared，即红外线，其波长（约760nm~1mm）比红光长，是不可见光。在光线比较暗的情况下，使用IR摄像头增强现实效果。在RGB阵列中，修改部分像素点为IR像素点，只允许红外光通过。

　　使用RGB-Ir技术可以通过一个传感器设备同时捕捉到RGB彩图和IR图，也就是同时拥有白天和夜间的可视能力。

　　RGB-IR 适合于车内监控DMS。可以在光线条件受限的情况下观察驾驶员和乘客。

 

 

　　RCCB： RCCB 中的C为Clear，即白色滤镜。这样可以在不丧失颜色的情况下得到更多的亮度信息。

　　RCCC:75%部分为透传，其余25%为感受红光的滤波器。适合红色交通灯和汽车尾灯的检测。

　　分辨率：Resolution

　　CFA参数决定了图像的色域空间，传感器的分辨率决定了图像的分辨能力。如前视ADAS摄像头的800万像素（3840x2160），环视摄像头300万像素（1920x1536），1080P（1920x1080）、720P（1280x720）等。在对焦的情况下，像素点越多，图片的分辨能力越强。但过大的分辨率会增加硬件成本，并给图像后处理带来挑战。

　　这里的分辨率并不能直接等同于像素点的数量，像素点Pixel需要经过插值后才能成为真正的图片，这部分内容后面再说。 像素点越多，图像的分辨率才能越大。

　　以人脸识别为例，如果像素过低，将无法分辨出人脸甚至人类

 

 

　　像素大小：Pixel size

　　像素点越大，单个点能接收到的光线越多，信号质量越高。在相同分辨率下，照相机比手机的像素点可以设计的更大，照片质量更好。车载摄像头的像素的尺寸大概在2.1um左右。

　　帧率：Frame per second，fps

　　即每秒钟更新的图像帧的个数。通常从30fps 到60fps不等。

　　图像的刷新采用Rolling shutter，即逐行边曝光边扫描，导致拍摄快速运动目标时，会出现果冻效应，物体看上去发生变形倾斜。

　　而高速相机会采用Global Shutter全局曝光后扫描的方式，但扫描时间会压缩曝光时间，相同帧率下有效曝光时间更短。

 

 

　　图像原始格式：经过Image sensor 得到的数字底片的格式为RAW。无论视频最后转成什么格式，都需要从RAW格式转。

　　RAW 格式：是未经处理过的数据，代表了各种颜色光的强度。8bit RAW即用8个bit描述一个像素点的亮度值，20bit RAW就是用20bit 来表示一个像素点。显然bit位越多，越能分辨出颜色的细节。不过这种数据格式需要经过润色处理才能使用。

　　图像后处理：ISP （Image Signal Processing ）图形信号处理器

　　ISP 相比于CPU，是专业的图形信号处理芯片。图像传感器采集到的原始数据交由ISP进行处理后，最后传输给外部设备使用。

　　ISP作用：对图像进行PS处理。包括噪点去除、颜色插值、白平衡校正、曝光矫正、HDR 等处理工作。并进一步的压缩编码，输出外接设备所需要的图像格式。

　　CIS芯片集成了ISP芯片，但功能受限，如果图像处理性能无法满足要求，还可以选择独立的ISP芯片进行图像信号处理。

　　输出格式：Output formats

　　经过Image sensor 测量得到的像素点信息将按照一定的格式进行格式化输出。常见的格式有20bit RAW， 8/10 bit RAW， 8/10 bit YUV422等。

 

 

　　CIS芯片结构和信号处理流程

　　输出接口：Output interfaces

　　经过ISP处理后的数据，最终按照Camera芯片的接口传输协议进行传输，目前采用的传输格式有MIPI CSI-2协议，LVDS协议等。

　　写到这里关于CIS成像器芯片的介绍基本结束，关于芯片的具体参数可以根据芯片的数据手册进行查找。

 

 

　　例：OmniVision_OX08B40芯片 技术参数

　　只有明白这些芯片的属性，成像特点，才能在摄像头仿真测试时，有效的发现问题和找出差异。这也是我作为仿真测试工程师去探究传感器工作原理的初衷。