为 NVIDIA Jetson 和其他嵌入式系统选择合适的摄像头

 

 

摄像头模块是基于 AI 的嵌入式系统中最不可或缺的部分。市面上可供选择的摄像头模块多到令人难以抉择。本文将对这一过程进行详解，帮助您为包括 NVIDIA Jetson 在内的嵌入式应用做出正确的选择。

 

选择摄像头的注意事项

 

选择摄像头模块需要考虑三个关键方面：传感器、接口（连接器）和光学器件。

 

传感器

 

电子图像传感器分为两大类：电荷耦合器件（CCD）和有源像素传感器（CMOS）。CCD 传感器只能按行读取像素值，每行像素逐一移位到读出寄存器中。CMOS 传感器则可以单独并行读取每个像素。

 

在大多数情况下，CMOS 的成本和能耗更低，而且不影响图像质量。由于可以并行读取像素值，CMOS 还能实现更高的帧率。不过在某些特殊领域，CCD 传感器仍占主导地位，比如像天文学这种需要长时间曝光和极低噪点图像的领域。

 

电子快门

 

电子快门有全局快门和滚动快门这两个选项。全局快门将每个像素同时曝光在入射光下。滚动快门按一定顺序（例如从上到下）对像素行进行曝光，这可能会导致失真（图 1）。

 

 

图 1.  滚动快门导致螺旋桨叶片失真

 

全局快门不会受到物体移动造成的运动模糊和失真影响。由于曝光开始的时间点只有一个，使用全局快门更容易同步多台摄像机。不过，使用全局快门的传感器要比使用滚动快门的传感器昂贵得多。

 

彩色或单色

 

在大多数情况下，单色图像传感器足以胜任典型的机器视觉任务，比如故障检测、存在监测和记录测量等。

 

在单色传感器中，每个像素通常用 8 个 bits 来描述。而在彩色传感器中，每个像素由 8 bits 红色，8 bits 绿色和 8 bits 蓝色组成。彩色传感器需要处理的数据量是单色传感器的三倍，因此处理时间较长，帧率也较慢。

 

动态范围

 

动态范围是传感器获取的最大和最小信号之间的比率。在上限值，像素在较高的强度值（饱和度）下呈现白色；在下限值及以下，像素呈现黑色。室内应用需要至少 80 分贝的 HDR，室外应用则需要最高 140 分贝的 HDR。

 

分辨率

 

分辨率是传感器再现物体细节的能力。它受到多种因素的影响，如所使用的照明类型、传感器像素大小和光学器件的性能等。物体的细节越小，所需的分辨率就越高。

 

像素分辨率是指图像上每个像素等于多少毫米。分辨率越高，图像就越清晰。摄像头或传感器的分辨率应能覆盖至少两个像素的特征区域。

 

高分辨率的 CMOS 传感器往往帧率较低。即便传感器可以达到您所需要的分辨率，如果不能达到足够的每秒帧数，就无法捕捉到所需要的高质量图像。因此，评估传感器的速度非常重要。

 

确定用例所需分辨率的一般经验法则如图 2 所示。 乘数“2”表示通常希望物体上至少有两个像素，以便成功检测到物体。

 

 

图 2. 所需的传感器分辨率

取决于镜头视场和目标特征的大小

 

例如，假设有一张拳击手眼睛周围受伤的图像。

 

• 分辨率= 2×（2000/4）

• 视场角（毫米） = 2000 毫米

• 目标特征（眼睛）的大小（毫米）= 4 毫米

 

根据 1000 x 1000 的计算结果，100 万像素摄像头使用 CV 或 AI 算法应该足以检测到眼睛。

 

请注意，传感器是由多行像素组成的。这些像素也称为“光子”。像素收集到的光子数量与像素大小成正比。选择较大的像素看似诱人，但并非在所有情况下都是最佳选择。

表 1.  小像素和大像素的优缺点

 

背照式传感器可最大程度地提高每个光电二极管捕捉和转换的光量。在前照式传感器中，光电二极管上方的金属线会阻挡一些光子，从而减少捕捉到的光量。

 

图 3. 前照式结构（左）

和后照式结构（右）的截面图

 

帧率和快门速度

 

帧率是指每秒拍摄的帧数（或捕捉的图像）（FPS）。帧率应根据每秒所需的检测次数来确定。这与快门速度（或曝光时间）相关，快门速度是摄像头传感器为捕捉图像而曝光的时间。

 

理论上，最大帧率等于曝光时间的倒数。但由于帧读取、传感器分辨率和包括电缆在内的接口数据传输速率所带来的延迟，可实现的 FPS 将会较低于这个值。

 

通过增加额外的照明和对像素进行分档，可以减少对大量曝光时间的需求，从而提高 FPS。

 

CMOS 传感器读取每个像素的过程比 CCD 传感器移位寄存器中的电荷传输更快，因此可以实现更高的 FPS。

 

接口

 

有多种方法可以将摄像头模块连接到嵌入式系统。通常情况下，为了进行评估，会使用带有 USB 和以太网接口的摄像机，因为这样就不需要自定义驱动程序的开发。

 

选择接口时的其他重要参数包括传输长度、数据传输速率和工作条件。表 2 列出了最常用的接口。每种接口都各有利弊。

 

表 2. 各摄像头接口比较

 

光学器件

 

光学镜头的基本作用是收集物体的散射光，并在光敏图像传感器（CCD 或 CMOS）上再现物体的图像。在选择优化镜头时应考虑以下因素：焦距、传感器格式、视野、光圈、主光线角、分辨能力和畸变。

 

镜头有固定的几种标准焦距。常见的镜头焦距包括 6 毫米、8 毫米、12.5 毫米、25 毫米和 50 毫米。

 

在选择了焦距最接近成像系统所需焦距的镜头后，就需要调整工作距离，使被测物对焦。短焦距镜头（小于 12 毫米）产生的图像畸变较大。

 

如果您的应用对图像畸变敏感，请尝试增加工作距离并使用焦距较长的镜头。如果无法改变工作距离，那么在选择优化镜头时就会受到一定的限制。

 

表 3. 摄像机镜头的主要类型

 

将镜头安装到摄像机上时需要使用某种安装系统，必须确定机械稳定性（松动的镜头会产生失焦图像）以及与传感器的距离。

 

为确保不同镜头和摄像机之间的兼容性，我们定义了以下标准镜头卡口。

 

表 4. 嵌入式空间常用的镜头卡口

 

NVIDIA 摄像头模块合作伙伴

 

NVIDIA 与全球实力雄厚的摄像头模块制造商建立了一个丰富的合作生态圈。详情请查看 Jetson 合作伙伴支持的摄像头：https://developer.nvidia.com/embedded/jetson-partner-supported-cameras?t1_supported-jetson-products=Orin

 

这些合作伙伴可以帮助您，为 NVIDIA Jetson 应用完成从概念到生产的整个成像系统设计过程。

 

图 4. NVIDIA Jetson 加摄像头模块的组合

可满足各行各业的不同需求

 

总结

 

本文介绍了为嵌入式应用选择摄像头时需要考虑的最重要的特性。这个选择过程似乎十分艰巨，您首先要了解在设计、性能、环境和成本方面的主要限制。

 

在了解限制后，重点关注与用例最相关的特性。例如，如果摄像头将被部署在远离计算中心的地方或恶劣的环境中，应考虑使用 GMSL 接口；如果摄像头将在弱光条件下使用，应考虑像素和传感器尺寸较大的摄像头模块；如果要将摄像头用于运动应用，可考虑使用带全局快门的摄像头。

 

想要了解更多信息，请观看：

优化边缘应用：揭示 Jetson 处理器与摄像头的正确组合

https://www.e-consystems.com/webinars/optimize-your-edge-application-unveiling-the-right-combination-of-jetson-processors-and-cameras.asp

 

有关基于 Xavier 和 Orin 的 Jetson 模块的 AI 性能、GPU、CPU 等详细规格，请访问 Jetson 模块：

https://developer.nvidia.com/embedded/jetson-modules

       GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行，线上大会也将同期开放。点击 “阅读原文” 或扫描下方海报二维码，关注更多会议及活动信息。

 

---

原文标题：为 NVIDIA Jetson 和其他嵌入式系统选择合适的摄像头

文章出处：【微信公众号：NVIDIA英伟达】欢迎添加关注！文章转载请注明出处。