评估相机性能的几个关键要素

比较基本的相机规格，如帧率、分辨率、接口这些指标比较容易；但是比较相机的成像性能，如量子效率、颞暗噪声和饱和容量这些指标就不那么简单了。首先，我们需要理解这些不同的测量真正意味着什么。

什么是量子效率？它是在峰值波长或某个特定波长处测量吗？信噪比和动态范围之间到底有何不同？本白皮书将一一解答这些问题，并介绍如何利用遵循EMVA1288标准的成像性能数据来比较和选择相机。

EMVA1288标准定义了测量相机性能的各个方面、如何对它们进行测量、以及如何以一种统一的方法呈现这些测量结果。本白皮书的第一部分将介绍图像传感器的成像性能。这一部分首先会介绍一些基本概念，这些基本概念对于理解“图像传感器是如何将光转换成数字图像、并最终决定传感器的性能”而言至关重要。图1中以单个像素为例，重点突出了这些概念。

图1：从光子到灰度级以及一些相关概念。

Light——光
Photons per μm2——单位面积（μm2）上的光子
Saturation Capacity——饱和容量
Pixel size——像素尺寸
WELL——阱
Shot noise——散粒噪声
Number of photons——光子数
Quantum efficiency——量子效率
Sensor——传感器
Temporal dark noise——颞暗噪声
Signal——信号
Gain——增益
Grey sacle——灰度级

首先，需要理解光本身所固有的噪声。光由离散粒子和光子组成，由光源产生。因为光源随机产生光子，因此在光强中会存在噪声。光物理学认为，在光强中观察到的噪声，等价于由光源产生的光子数的平方根。这种噪声称为散粒噪声。

应当指出的是，从一个像素中观测到的光子数，将取决于曝光时间和光强。本文将光子数看作是曝光时间和光强的组合。同样，像素尺寸与传感器的光收集能力之间存在一种非线性关系，因为像素尺寸需要平方后，才可用于确定光敏区域。

数字化光的第一个步骤是将光子转换为电子。本文将不再赘述传感器是如何完成这个转换的，而是介绍了转换效率的测量。在数字化过程中产生的电子与光子的比率，被称为量子效率（QE）。图1中所示例的传感器的量子效率为50％，因为有6个光子“落在”传感器上，产生了3个电子。

在电子被数字化之前，它们被存储在像素内，被称为阱。阱中可以存储的电子数，称为饱和容量或阱深。如果阱接收到比其饱和容量更多的电子，那么额外的电子将无法被保存。

一旦像素完成光的收集，便对阱中的电荷进行测量，该测量被称为信号。图1中的信号测量是用指针式仪表显示的。与该测量相关的误差被称为颞暗噪声或读出噪声。

最后，灰度级是通过将信号值（以电子表示）换算成16位模数转换器单元（ADU）的像素值来确定的。模拟信号值与数字灰度级值之间的比率，被称为增益，并以每ADU中的电子数来测量。请勿将EMVA1288标准所定义的增益参数与“模拟到数字”转换过程中的增益相混淆。
在评估相机性能时，通常会参考信噪比和动态范围。相机的这两项性能的测量，都要考虑信号和相机噪声之间的比率。不同之处在于，动态范围只考虑颞暗噪声，而信噪比还要考虑散粒噪声的均方根总和。

绝对灵敏度阈值是使“信号等同于由传感器产生的噪声”的光子数。这是一个重要指标，因为它代表了能够观察到任何有意义的信号、理论上所需要的最小光量。

为了帮助用户根据EMVA1288标准比较传感器和相机，Point Grey对70多款相机的成像性能进行了全面研究，开创业内先河。详情请登录 。

比较相机的低光性能

在本白皮书中，我们将考虑如车牌识别（LPR）或光学字符识别（OCR）等应用，在这类应用中，通常使用黑白成像，相机能够收集的光的数量，可能会受限于较短的曝光时间。确定解决成像问题所需要的分辨率、帧率和视场相对简单；然而要确定是否该相机具有足够的成像性能就较为困难了。

这一挑战通常通过反复试验加以解决。我们来看一个例子：一位视觉系统设计者认为，针对上述提到的这类应用，一款运行帧率为30 FPS的 1/4'' CCD VGA相机就足以胜任了。初始测试表明，当物体静止时，该相机在10 ms的曝光时间下具有足够的灵敏度。图2中显示了一个简单的例子：字符B、8、D和0很容易被视觉算法所混淆。左上方利用1/4''CCD相机拍摄的图像，适合于图像处理。

图2：1/4''和1/2''的CCD相机在不同的曝光时间下拍摄的图像。

At 10 ms shutter——曝光时间10 ms
At 5 ms shutter——曝光时间5 ms
At 2.5 ms shutter——曝光时间2.5 ms

然而，当物体开始移动时，曝光时间需要减少，相机便不能提供有用的信息，因为字母“B”和“D”无法从数字“8”和“0”中被区分出来。图2中，左中和左下方的图像显示了图像质量的退化，特别是利用¼'' CCD相机在2.5 ms的曝光时间下拍摄的图像，很显然不适合用于图像处理。

在这个例子中，假设不要求大景深，因此镜头的最小F值是可以接受的。换言之，就是不可能通过打开镜头的快门来收集更多的光。
因此，设计人员需要考虑选择不同的相机。现在的问题是：是否选择不同的相机能改善系统的性能。使用更大的传感器，已经被普遍认为是解决低光性能问题的一个好办法，因此1/2''传感器将是不错的选择。这里无需再进行反复摸索，参考相机的EMVA 1288成像性能很有用。

相机

传感器

像素尺寸(μm)

量子效率（%）

颞暗噪声（e-）

饱和容量（e-）

 

1/4’’ 相机
(FL3-GE-03S1M-C)

ICX618

5.6

70

11.73

14,508

 

1/2’’ 相机
(BFLY-PGE-03S3M-C)

ICX414

9.9

39

19.43

25,949

通过EMVA 1288数据可以观察到：1/4''CCD传感器具有更好的量子效率和更低的噪声；但是1/2'' CCD传感器具有更大的像素和更大的饱和容量。本文介绍了如何确定1/2''相机是否具有更好的表现。

图3中比较了1/4''和1/2''相机的信号值和光密度（光子数/µm2）之间的曲线图。该信号作为光密度的一个函数，可以由以下公式确定：
Signal——信号值
Light density——光密度
Pixel size——像素尺寸
Quantum efficiency——量子效率

本文所做的一个重要假设是：两款相机具有相同的设置，镜头具有的相同的视场、相同的F值。

图3：1/4''和1/2'' CCD相机产生的信号是光密度的一个函数。

Signal——信号值
Light density——光密度（光子数/µm2）
Saturation capacity——饱和容量
1/2'' Camera signal——1/2''相机产生的信号
1/4'' Camera signal——1/4''相机产生的信号

图3表明，在光密度相同的情况下，1/2''传感器将产生更高的信号。此外，从图3中还可以观察到，1/4''和1/2''传感器基本都在700个光子/µm2的光密度下达到了其饱和容量，但很显然1/2''传感器的饱和容量值更高。

在本白皮书所考虑的应用中，相机的比较需要在低光水平下进行。因此，考虑噪声水平变得尤为重要。

图4显示了低光水平下的信号和噪声情况。图4中显示的噪声包括颞暗噪声和散粒暗噪声，由下列公式计算：
Noise——噪声
Temporal dark noise——颞暗噪声
Shot noise——散粒噪声

图4：在低光水平下，1/4''和1/2''CCD相机的信号和噪声情况。

1/2'' camera will……——1/2''相机在更低的光密度下达到了绝对灵敏度阈值
Signal——信号值
Light density——光密度（光子数/µm2）
Saturation capacity——饱和容量
1/2'' Camera signal——1/2''相机产生的信号
1/4'' Camera signal——1/4''相机产生的信号
1/2'' Camera noise——1/2''相机产生的噪声
1/4'' Camera noise——1/4''相机产生的噪声

图4显示，1/2''传感器比1/4''传感器在略微低的光密度下达到了绝对灵敏度阈值。要进一步确定哪款相机在低光应用中具有更好的表现，还需要进行一项更重要的测量便是信噪比（SNR）。

图5显示了两款相机的SNR与光密度之间的函数关系。

图5：低光水平下1/4''和1/2''CCD相机的信噪比。

Signal noise ratio（linear scale）——信噪比（线性）
Light density——光密度（光子数/µm2）
1/2'' Camera signal to noise——1/2''相机的信噪比
1/4'' Camera signal to noise——1/4''相机的信噪比

鉴于1/2''传感器在低光水平下具有更高的信噪比，因此理论上认为1/2''相机应该比1/4''相机在低光水平下具有更好的表现。

从图2中的图像可以看出，在2.5 ms的曝光时间内，1/2''传感器在所有曝光时间内捕捉到了字符的形状；而1/4''传感器在该曝光时间内所拍摄到的字符却难以区分。因此1/2''传感器具有更好的表现，并且实际结果与理论相符。

Point Grey已经做了广泛的相机研究工作，并且已经出版了EMVA 1288成像性能结果。该信息可用于比较不同相机型号的性能。相机的实施确实会影响成像性能，在比较两款文档中包括传感器的相机时，这项研究通常会非常有用。

应当指出的是，在总体了解一台相机将比另一台相机如何有更好的表现时，本白皮书中所概述的方法是非常有用的。这种方法可以帮助排除那些不大可能提高所需性能的相机；然而，相机性能的最终测试将在实际应用中进行。

传统CCD传感器和现代CMOS传感器的对比

现在，我们将在低光成像条件下和具有广泛照明条件的场景下，比较传统CCD传感器和现代CMOS传感器的性能。

上文中已经显示，采用Sony ICX414 1/2'' VGA CCD的相机，在低光条件下比采用Sony ICX618 1/4'' VGA CCD的相机具有更好的表现。现在，我们将1/2'' VGA CCD与最新的Sony Pregius IMX249 1/1.2'' 230万像素全局快门CMOS传感器相比较。

采用这两款传感器的相机成本相当，大约为400欧元；CMOS相机中的VGA感兴趣区域，实际上接近于1/4''相机的光学尺寸；在VGA分辨率下，两款相机的帧率也类似。

相机的EMVA 1288数据显示，IMX249 CMOS传感器明显具有更好的量子效率、更低的噪声和更高的饱和容量。另一方面，ICX414 CCD传感器具有更大的像素，这是在上文提及的例子中的关键参数。

相机

传感器

像素尺寸(μm)

量子效率（%）

颞暗噪声（e-）

饱和容量（e-）

 

1/2" CCD 相机
(BFLY-PGE-03S3M-C)

ICX414

9.9

39

19.43

25,949

 

1/1.2" CMOS 相机(BFLY-PGE-23S6M-C)

IMX249

5.86

80

7.11

33,105

 

图6：在低光条件下，ICX414 CCD传感器和IMX249 CMOS传感器的信噪比。

IMX249 CMOS sensor……——IMX249 CMOS传感器将在更低的光密度下达到绝对灵敏度阈值
Signal noise ratio（linear scale）——信噪比（线性）
Light density——光密度（光子数/µm2）

图7：在不同的曝光时间下，从ICX414 CCD传感器和IMX249 CMOS传感器所获得的拍摄结果。

At 2.5 ms shutter——曝光时间2.5 ms
At 1 ms shutter——曝光时间1 ms

由于这两款传感器的饱和容量之间存在差异，因此更高的光强度下的比较更为有趣。图8显示了在整个光强范围内，信号都是光强的函数。从图8中可以观察到，ICX414 CCD传感器在光密度约为700个光子/µm2时达到饱和容量；而IMX249 CMOS传感器则在光密度超过1200个光子/µm2后才达到饱和。

图8：ICX414 CCD和IMX249 CMOS传感器产生的信号是光密度的一个函数。

Signal——信号值
Light density——光密度（光子数/µm2）
Saturation capacity——饱和容量

可以得出的第一个结论是，ICX414 CCD传感器产生的图像，比IMX249 CMOS传感器产生的图像更亮。如果这一点不能从图中明显地观察到，可以想象一下，图像大约是在700个光子/µm2的光密度下产生的。在采用ICX414 CCD传感器的情况下，图像应该在最高灰度级，很可能是饱和的；而IMX249 CMOS传感器产生的图像，其亮度刚好超过其最大亮度的50％。这个结论非常有意义，因为评估相机灵敏度的一种简易方法便是观察图像的亮度。换句话说，这种简易方法假设图像的亮度越高，拍摄相机的性能越好。然而，这一观点并不正确，在上面这个例子中，结论实际上恰恰相反：产生较暗图像的相机，实际上具有更好的性能。

图9：在光线不佳的条件下，ICX414 CCD和IMX249 CMOS传感器所产生的图像效果。

第二个结论是，IMX249 CMOS传感器能在广泛的照明条件下，产生更适合用于进一步处理的图像。图9中显示了两款相机对相同场景的成像结果。应当指出的是，图像的更暗部分已经为显示目的进行了增强，但并未修改基础数据。从图9中可以看到，ICX414 CCD在场景的亮区达到饱和，同时在暗区存在大量噪声，使得字符无法清晰可辨。相比之下，IMX249 CMOS传感器在场景的亮区和暗区都产生了清晰可见的字符。
最后，我们可以得出结论：在机器视觉应用中，最新的全局快门CMOS技术正在成为CCD技术的一种可行替代选择。相比于CCD传感器，CMOS传感器不仅价格更便宜、帧率更高、分辨率相当、并且没有图像拖尾和光晕，而且在成像性能方面，CMOS传感器正在开始超越CCD。
结论

在本白皮书中，我们了解到了在评估相机性能时所使用的几个关键概念，介绍了EMVA1288标准、并将结果应用于各种照明条件下的相机性能比较。在评估相机性能时，还有很多方面需要考虑。例如，光源处于不同波段，量子效率会随之急剧变化，因此一台在525nm光源条件下表现良好的相机，当光源转到近红外（NIR）波段时，并不一定能有同样良好的性能表现。类似地，荧光成像和天文成像中常常使用长曝光时间，这种情况下需要考虑暗电流，在低光照明条件下，这是一种具有重要影响的类型噪声。