为 NVIDIA Jetson 和其他嵌入式系统选择合适的摄像头

描述

 

 

摄像头模块是基于 AI 的嵌入式系统中最不可或缺的部分。市面上可供选择的摄像头模块多到令人难以抉择。本文将对这一过程进行详解,帮助您为包括 NVIDIA Jetson 在内的嵌入式应用做出正确的选择。

 

选择摄像头的注意事项

 

选择摄像头模块需要考虑三个关键方面:传感器、接口(连接器)和光学器件。

 

传感器

 

电子图像传感器分为两大类:电荷耦合器件(CCD)和有源像素传感器(CMOS)。CCD 传感器只能按行读取像素值,每行像素逐一移位到读出寄存器中。CMOS 传感器则可以单独并行读取每个像素。

 

在大多数情况下,CMOS 的成本和能耗更低,而且不影响图像质量。由于可以并行读取像素值,CMOS 还能实现更高的帧率。不过在某些特殊领域,CCD 传感器仍占主导地位,比如像天文学这种需要长时间曝光和极低噪点图像的领域。

 

电子快门

 

电子快门有全局快门和滚动快门这两个选项。全局快门将每个像素同时曝光在入射光下。滚动快门按一定顺序(例如从上到下)对像素行进行曝光,这可能会导致失真(图 1)。

 

 

图 1.  滚动快门导致螺旋桨叶片失真

 

全局快门不会受到物体移动造成的运动模糊和失真影响。由于曝光开始的时间点只有一个,使用全局快门更容易同步多台摄像机。不过,使用全局快门的传感器要比使用滚动快门的传感器昂贵得多。

 

彩色或单色

 

在大多数情况下,单色图像传感器足以胜任典型的机器视觉任务,比如故障检测、存在监测和记录测量等。

 

在单色传感器中,每个像素通常用 8 个 bits 来描述。而在彩色传感器中,每个像素由 8 bits 红色,8 bits 绿色和 8 bits 蓝色组成。彩色传感器需要处理的数据量是单色传感器的三倍,因此处理时间较长,帧率也较慢。

 

动态范围

 

动态范围是传感器获取的最大和最小信号之间的比率。在上限值,像素在较高的强度值(饱和度)下呈现白色;在下限值及以下,像素呈现黑色。室内应用需要至少 80 分贝的 HDR,室外应用则需要最高 140 分贝的 HDR。

 

分辨率

 

分辨率是传感器再现物体细节的能力。它受到多种因素的影响,如所使用的照明类型、传感器像素大小和光学器件的性能等。物体的细节越小,所需的分辨率就越高。

 

像素分辨率是指图像上每个像素等于多少毫米。分辨率越高,图像就越清晰。摄像头或传感器的分辨率应能覆盖至少两个像素的特征区域。

 

高分辨率的 CMOS 传感器往往帧率较低。即便传感器可以达到您所需要的分辨率,如果不能达到足够的每秒帧数,就无法捕捉到所需要的高质量图像。因此,评估传感器的速度非常重要。

 

确定用例所需分辨率的一般经验法则如图 2 所示。 乘数“2”表示通常希望物体上至少有两个像素,以便成功检测到物体。

 

英伟达  

图 2. 所需的传感器分辨率

取决于镜头视场和目标特征的大小

 

例如,假设有一张拳击手眼睛周围受伤的图像。

 

  • 分辨率= 2×(2000/4)

  • 视场角(毫米) = 2000 毫米

  • 目标特征(眼睛)的大小(毫米)= 4 毫米

 

根据 1000 x 1000 的计算结果,100 万像素摄像头使用 CV 或 AI 算法应该足以检测到眼睛。

 

请注意,传感器是由多行像素组成的。这些像素也称为“光子”。像素收集到的光子数量与像素大小成正比。选择较大的像素看似诱人,但并非在所有情况下都是最佳选择。

英伟达

表 1.  小像素和大像素的优缺点

 

背照式传感器可最大程度地提高每个光电二极管捕捉和转换的光量。在前照式传感器中,光电二极管上方的金属线会阻挡一些光子,从而减少捕捉到的光量。

 

英伟达

图 3. 前照式结构(左)

和后照式结构(右)的截面图

 

帧率和快门速度

 

帧率是指每秒拍摄的帧数(或捕捉的图像)(FPS)。帧率应根据每秒所需的检测次数来确定。这与快门速度(或曝光时间)相关,快门速度是摄像头传感器为捕捉图像而曝光的时间。

 

理论上,最大帧率等于曝光时间的倒数。但由于帧读取、传感器分辨率和包括电缆在内的接口数据传输速率所带来的延迟,可实现的 FPS 将会较低于这个值。

 

通过增加额外的照明和对像素进行分档,可以减少对大量曝光时间的需求,从而提高 FPS。

 

CMOS 传感器读取每个像素的过程比 CCD 传感器移位寄存器中的电荷传输更快,因此可以实现更高的 FPS。

 

接口

 

有多种方法可以将摄像头模块连接到嵌入式系统。通常情况下,为了进行评估,会使用带有 USB 和以太网接口的摄像机,因为这样就不需要自定义驱动程序的开发。

 

选择接口时的其他重要参数包括传输长度、数据传输速率和工作条件。表 2 列出了最常用的接口。每种接口都各有利弊。

 

英伟达

表 2. 各摄像头接口比较

 

光学器件

 

光学镜头的基本作用是收集物体的散射光,并在光敏图像传感器(CCD 或 CMOS)上再现物体的图像。在选择优化镜头时应考虑以下因素:焦距、传感器格式、视野、光圈、主光线角、分辨能力和畸变。

 

镜头有固定的几种标准焦距。常见的镜头焦距包括 6 毫米、8 毫米、12.5 毫米、25 毫米和 50 毫米。

 

在选择了焦距最接近成像系统所需焦距的镜头后,就需要调整工作距离,使被测物对焦。短焦距镜头(小于 12 毫米)产生的图像畸变较大。

 

如果您的应用对图像畸变敏感,请尝试增加工作距离并使用焦距较长的镜头。如果无法改变工作距离,那么在选择优化镜头时就会受到一定的限制。

 

英伟达

表 3. 摄像机镜头的主要类型

 

将镜头安装到摄像机上时需要使用某种安装系统,必须确定机械稳定性(松动的镜头会产生失焦图像)以及与传感器的距离。

 

为确保不同镜头和摄像机之间的兼容性,我们定义了以下标准镜头卡口。

 

英伟达

表 4. 嵌入式空间常用的镜头卡口

 

NVIDIA 摄像头模块合作伙伴

 

NVIDIA 与全球实力雄厚的摄像头模块制造商建立了一个丰富的合作生态圈。详情请查看 Jetson 合作伙伴支持的摄像头https://developer.nvidia.com/embedded/jetson-partner-supported-cameras?t1_supported-jetson-products=Orin

 

这些合作伙伴可以帮助您,为 NVIDIA Jetson 应用完成从概念到生产的整个成像系统设计过程。

 

英伟达

图 4. NVIDIA Jetson 加摄像头模块的组合

可满足各行各业的不同需求

 

总结

 

本文介绍了为嵌入式应用选择摄像头时需要考虑的最重要的特性。这个选择过程似乎十分艰巨,您首先要了解在设计、性能、环境和成本方面的主要限制。

 

在了解限制后,重点关注与用例最相关的特性。例如,如果摄像头将被部署在远离计算中心的地方或恶劣的环境中,应考虑使用 GMSL 接口;如果摄像头将在弱光条件下使用,应考虑像素和传感器尺寸较大的摄像头模块;如果要将摄像头用于运动应用,可考虑使用带全局快门的摄像头。

 

想要了解更多信息,请观看:

优化边缘应用:揭示 Jetson 处理器与摄像头的正确组合

https://www.e-consystems.com/webinars/optimize-your-edge-application-unveiling-the-right-combination-of-jetson-processors-and-cameras.asp

 

有关基于 Xavier 和 Orin 的 Jetson 模块的 AI 性能、GPU、CPU 等详细规格,请访问 Jetson 模块

https://developer.nvidia.com/embedded/jetson-modules

       GTC 2024 将于 2024 年 3 月 18 至 21 日在美国加州圣何塞会议中心举行,线上大会也将同期开放。点击 “阅读原文” 扫描下方海报二维码,关注更多会议及活动信息。

 

英伟达


原文标题:为 NVIDIA Jetson 和其他嵌入式系统选择合适的摄像头

文章出处:【微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。


打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分