浅谈手机成像技术背后的那些事儿

如今，相机已经成为智能手机上最为重要的硬件组成之一，对于大多数消费者而言，相机的成像水平也成为了选购智能手机时考虑的主要因素之一。特别是近两年，在行业普遍缺乏创新的情况下，智能手机的相机进化愈发成为不少厂商在营销上的着力点。今天，小编带你扒一扒手机摄像头背后的那些事儿。

手机摄像头组成结构

手机摄像头主要由以下几个部分组成：PCB板、传感器、数字信号处理芯片，镜头等。

PCB板

PCB板又分为硬板，软板，软硬结合板三种(如下图)，CMOS可用任何一种板，但CCD的话就只能用软硬结合板。这三种板中软硬结合板价格最高，而硬板价格最低。

镜头

镜头是仅次于CMOS芯片影响画质的第二要素，其组成是透镜结构，由几片透镜组成，一般可分为塑胶透镜(plastic)或玻璃透镜(glass)。当然，所谓塑胶透镜也非纯粹塑料，而是树脂镜片，当然其透光率感光性之类的光学指标是比不上镀膜镜片的。

通常摄像头用的镜头构造有：1P、2P、1G1P、1G2P、2G2P、2G3P、4G、5G等。透镜越多，成本越高，相对成像效果会更出色。

镜头由透镜、滤光装置、镜筒三部分组成，镜头参数有三个，即焦距f′、相对孔径D/f′和视场角2ω。

DSP(数字信号处理芯片)

它的功能是通过一系列复杂的数学算法运算，对数字图像信号进行优化处理，最后把处理后的信号传到显示器上。

DSP结构框架：(1). ISP(镜像信号处理器);(2). JPEG encoder(JPEG图像解码器)。

ISP的性能强大是决定影像流畅的关键，JPEG encoder的性能也是关键指标之一。而JPEG encoder又分为硬件JPEG压缩方式，和软件RGB压缩方式。

DSP控制芯片的作用是：将感光芯片获取的数据及时快速地传到baseband中并刷新感光芯片，因此控制芯片的好坏，直接决定画面品质(比如色彩饱和度、清晰度)与流畅度。

上面所说的DSP是CCD中会使用，是因为，在CMOS传感器的摄像头中，其DSP芯片已经集成到CMOS中，从外观上来看，它们就是一个整体。

图像传感器

在摄像头的主要组件中，最重要的就是图像传感器了，因为感光器件对成像质量的重要性不言而喻。

传感器将从镜头上传导过来的光线转换为电信号，再通过内部的DA转换为数字信号。由于传感器的每个pixel只能感光R光或者B光或者G光，因此每个像素此时存贮的是单色的，我们称之为RAW DATA数据。要想将每个像素的RAW DATA数据还原成三基色，就需要信号处理器ISP来处理。

图像传感器是起感光记录作用的元件，和胶卷类似。有CMOS和CCD两种类型 CCD又叫电荷转移器件，光电二极管排成一列叫一维型直线式传感器，光电二极管行排列叫二维型面积式图像传感器。

CCD由光电二极管感光部件、ccd转移部件和电荷放大器件组成，当光照射时，光子激发电荷，电荷产生堆积，感光部件与转移部件之间加上栅电压，堆积的电荷在栅电压的作用下，开始定向移动至转移部件，经放大输出，这些输出的电荷信号带有图像信息。

CMOS图像传感器由金属氧化物半导体集合而成，每一个像素可以集成多种器件，比如放大器，A/D转换器等。

图像传感器的发展趋势是高敏感化、高分辨率、省电、低压工作等高性能方向发展。

手机摄像头的成像原理

物方光线进入系统，经过镜头，到达图像传感器，光子打到传感器上产生可移动电荷，这是内光电效应，可移动电荷汇集形成电信号，由于处理器无法识别电荷信号，需要把电信号转化为数字信号，对于图像传感器是cmos的系统不需要外加模数转换器，而对于以ccd作为图像传感器的系统需要A/D转换器，经过模数转换器件，电荷信号转换成数字信号，数字信号经过放大电路进入微处理器，数字信号经过DSP数字信号处理芯片经过存储处理后，传输到屏幕形成和物一样的图像。

手机可以取代传统相机吗?

可以这样说，作为记录的话，我们大部分人其实都不再需要单反了。作为普通人，我们日常生活中实用相机的时候无非是想记录当下。路过的一处风景，三五知己的留念，一餐丰盛的早餐，都能激发起我们记录下来的冲动。但是，现在手机已经能完美的做到这些了，而大部份人也是这样做的。从摄影的角度看，要做到很好的记录以上的场景其实并不需要很好的摄影装备，因为只是为了达到记录的需求，所以对于光线，镜头素质，相机的性能要求不高，现在的手机摄影的功能已经很强大，在光线条件好的情况下拍出的照片丝毫不比专业相机差。

但是，受制感光元件的大小，从某种意义上说，近几年手机摄像头的素质并没有质的提升。论成像效果，手机永远比不了单反。

目前手机的感光元件最大的也止步1英寸。而在相机领域，如今全画幅已成购买相机的基本门槛。这之间的差距巨大，从画质上来说，手机没有赶上和超越的可能。但手机飞速进步的成像技术与算法让手机拍照有了质的变化。

拼不过画质拼算法

近年来，有一项技术越来越受到手机厂商的重视，那就是HDR，High-Dynamic Range高动态范围。

HDR肯定不是什么新鲜技术，不过如今手机中的HDR技术与过去的“欠曝、正常、过曝”所得的HDR照片可以说完全不同。

最近发布的两款新机便向我们展示了手机中具有代表性的HDR新技术，即苹果iPhone Xs的SmartHDR和谷歌Pixel手机的HDR+。

Smart HDR

苹果一直被嘲炒冷饭、挤牙膏式的创新，不过在相机算法方面，苹果毋庸置疑的处于领先地位，它在拍照方面升级的Smart HDR新技术非常值得关注。Smart HDR拼的不仅仅是速度，更是AI，即神经网络的计算能力。

苹果的A12芯片主要由CPU、GPU和一个神经网络协处理器NeuralEngin构成，Smart HDR便是利用了NeuralEngine结合GPU的计算，并非过去简单的手机拍照处理器或者ISP。

iPhone的Smart HDR功能在按下快门时相机会自动拍下4张照片，并选取最好的一张，苹果称其为零快门延时(Zero shutter lag)技术。

不光如此，在帧之间还拍摄了它们的复制帧，称为帧间(interframe)，有着不同的曝光级别，以保留高光细节。

以及另外一帧长曝光来捕捉更多暗部细节。

最后NeuralEngine会从中挑选最佳的4张照片合在一起，低曝光的“帧间”照片和长曝光的暗部细节，都意味着最终能够更好地避免明亮区域的溢出、过曝情况。

这些所有背后的操作，都是在极高速下实现的，苹果说每拍摄一次可以运行1万亿次，这并非夸张，因为在相机实时取景过程中，Smart HDR就已经在开始运算了，但对此我们在使用时可能并不会有任何感知。

HDR+

有别于传统的HDR技术，HDR+采用了多张曝光时间相同的欠曝图片进行合成，并不单单是传统的机内jepg堆栈技术，而是先采集RAW堆栈再压缩为jpeg的路径，从而明显提升细节动态范围。

实际上，在你按下快门的前一刻，相机就已经提前拍摄了很多照片，当你按下快门后，算法会从已拍摄图片中筛选出质量最好的。

那为什么单反相机就不能连续拍摄10张来自动合成超级HDR照片?这除了跟图像处理器性能有关之外，还因为它和手机拍摄的出发点原本就是不一样的。

一些单反相机也开始加入自动HDR模式，但也与手机HDR合成不同，手机主打的就是按一下快门，就不必做其他处理，处理步骤让芯片去执行就好。但如果是使用单反去拍摄HDR风光照片的人，不会仅仅依赖机内堆栈合成，而往往是包围曝光，然后在后期处理时拼接合成，类似于一种更精确的手工处理。

另外一点，相机的追求的更多是操控体验、摄影真实记录以及更纯粹的摄影体验，过多智能的东西加入，只会让摄影的体验会更差。这是两种不同的方向。

手机“双摄”技术

现在，似乎人人都在讨论“双摄”。手机发展的一个趋势就是轻薄化，7mm逐渐成为手机薄厚的一个标杆和分水岭。要想在如此轻薄的手机上追求更高的成像质量，即使有前面提到的技术加持，而受制于传感器尺寸和镜头素质(这两项直接决定了手机的成像质量)，即使单摄像头参数很好，也依然会有高感表现差、背景虚化不到位、特写不足等等问题。

这时候，在一颗摄像头的基础上再加入一颗，以此来提高手机整体拍照质量便成了新的突破口。

其实双摄像头的理论基础就是把原本要求纵向空间的光学体系，在横向空间的平面上铺展开来。这样即达到了成像水平，也不会使摄像头突出影响手机整体的美观。

目前，主流双摄像头的功能主要可以分为两大类：

1、利用双摄像头产生立体视觉，获得影像的景深，利用景深信息进行背景虚化，3D扫描，辅助对焦，动作识别等应用;

2、利用左右两张不同的图片信息进行融合，以期望得到更高的分辨率，更好的色彩，动态范围等更好的图像质量或实现光学变焦。这两大类大致可以分为4点：1、通过双摄测距，可以进行距离相关的应用，这方面目前应用最广泛的就是背景虚化;2、光学变焦;3、暗光增强;4、3D拍摄及建模。

双摄像头的工作原理

虽然都是两颗摄像头，但是不同的手机，主摄像头和副摄像头的工作原理却有很大的不同。目前，双摄手机工作原理主要有以下几种：

1、彩色+彩色摄像头(RGB+RGB)，优势在于可以计算景深，从而实现背景虚化和重新对焦(即先拍照后对焦);

2、彩色+黑白相机(RGB+Mono)，优势在于可以提升暗光或夜晚手机成像质量;

3、广角+长焦镜头(Wide+Tele)，这个组合最大优势在于可以实现光学变焦(目前大多数主流手机厂商采用的双摄原理);

4、彩色+深度相机(RGB+Depth)，可以实现三围重建等。前面提到的双摄的功能就是通过这四种组合实现的。

四种中，彩色+黑白相机(RGB+Mono)和广角+长焦镜头(Wide+Tele)两种应用的最广泛，两种双摄的代表分别是华为P9/10系列、Mate 9系列和iPhone 7 Plus、OPPO R11系列以及小米6等。

前面提到，广角+长焦镜头组合带来的最大优势就是可以在手机上实现光学变焦。光学变焦(Optical Zoom)其实是相机上的一个名词，它是通过改变光学镜片组结构来改变镜头焦距，从而实现变焦。但是镜片组结构复杂，整体尺寸无法安置于手机中。而此前的手机如果想要放大图片，方法是后期对图片进行裁切然后将一部分放大，这样做的后果是图片内的每个像素面积就会增大，图像的画质就会被严重压缩。而广角+长焦双摄则解决了这一难题，在手机中实现了光学变焦。

广角+长焦双摄的光学变焦在于左右摄像头拥有不同的可视角，这样两个摄像头就会有不同的取景范围。当想要拍摄广角照片时，可以使用左摄像头取景。如果想要长焦照片，则用右摄像头取景，获得长焦效果。通俗点说即，广角镜头取景更宽更广，但是取不到远处物体;而长焦镜头虽然取景比较窄，但是能“看”的更远。这样，广角和长焦镜头组合搭配，在拍照时通过镜头切换和算法来实现比较平滑的变焦。

在这里可能很多人会有疑问，即为什么长焦镜头像素会比平时主要使用的广角镜头像素要高?这在于广角镜头在变焦时会损失图像信息，此时高像素的长焦镜头就会进行弥补，从而保证手机成像质量并提高手机变焦性能。

此外，广角+长焦双摄还会根据所拍摄的环境光线等决定使用哪一颗摄像头进行拍摄。简单说，当光线良好时，通常会使用副摄像头，当光线不佳时则会使用主摄像头。这在于，主摄像头拥有更好的性能，在弱光下在保证画面亮度下还能很好的控制噪点，这也是为什么一般在采用广角+长焦双摄方案的手机主镜头光圈都比副摄像头光圈大的部分原因所在。

到这里，相信大家已经对于双摄以及广角+长焦双摄的原理应该有了一个大致的印象，在经过了野蛮生长后，回到最终的体验上，拼的依然是厂家自身的研发实力和技术积累。而双摄特殊性在于它影响的是手机的拍照，而并不像2K屏幕或者全面屏等可有可无，因为当单摄像头的创新无法再对手机成像有大的提升时，双摄就会显得至关重要，或者也可以说双摄是手机成像发展过程中所必须经历的一步。就目前的成像成像体验来说，无论变焦还是虚化，都没有令人失望。

对于手机拍照来说，没有什么是一颗摄像头解决不了的，如果有，那就再来一颗吧。