浅谈相机、处理器、图像传感器未来趋势

工业相机技术和用于机器视觉应用的图像传感器的发展——如平板显示器、印刷电路板和半导体的检查，以及仓库物流、智能运输系统、作物监测和数字病理学——对相机和图像传感器提出了新的要求。其中最主要的是需要在更高分辨率和速度的驱动与更低的功耗和数据带宽之间取得平衡。在某些情况下，也有推动小型化的趋势。

在外部，相机是带有安装功能和光学元件的外壳。虽然这对用户很重要，但内部存在影响性能、功能和功耗的重大挑战。硬件，如图像传感器和处理器，以及软件在这里起着关键作用。

根据我们所知道的，我们将在未来十年看到相机、处理器、图像传感器和处理方面的哪些变化呢？它们将如何影响我们的生活质量呢？

图像性能

当您选择一辆新车时，一个尺寸并不适合所有人。图像传感器也是如此。

确实，越来越大、越来越强大的图像传感器对于某些类别的高性能视觉应用非常有吸引力。在这些情况下，这些应用中使用的图像传感器的尺寸、功耗和价格并不像性能那么重要。平板显示器的检查就是一个很好的例子。一些平板制造商现在正在寻找优质显示器中的亚微米缺陷。这实际上小到足以检测显示器上的细菌。

地面和天基天文学应用需要更高的性能。美国能源部 SLAC 国家加速器实验室的研究人员展示了一个 3 Gigapixel 的成像解决方案——相当于今天的数百个相机——使用了几个较小的图像传感器阵列。根据 SLAC 的说法，这些图像的“分辨率非常高，以至于你可以从大约 15 英里外看到一个高尔夫球”。我们可以从这一非凡的成就中推断出，世界研究实验室可以实现的未来几乎是无限的。

大型天气观测望远镜 LSST 相机团队的成员准备将 L3 镜头安装到相机的焦平面上，这是一个能够拍摄 3.2 兆像素图像的圆形 CCD 传感器阵列。

但无论分辨率有多高，我们都可以看到成熟的 2D 成像功能开始耗尽。先进的光学检测系统实际上并不需要更高的速度或更多的数据。他们需要更多且仅是有用的信息。

寻求更多信息

围绕每个像素所需信息量不断增加的一些趋势正在逐渐普及。

3D 图像捕捉

3D图像捕捉提供了额外的维度，提供了更多的粒度、细节和检测功能。像电池检测、电视/笔记本电脑/手机屏幕制造等应用都在推动光学检测传感器收集更多信息。在这种情况下，即使是在亚微米分辨率下找到2D缺陷也变得不够，这迫使我们计算出它们的高度，甚至可能是它们的形状，以确定图像是否受到可清洁灰尘、硬颗粒或针等颗粒物的影响。

应用程序开发人员正在努力利用颜色、角度和不同的成像方式(如3D或偏振，这是另一种光的维度)来满足客户的需求。反过来，相机制造商也在努力为这一行业提供工具。

高光谱成像

高光谱成像是另一个迅速加强的趋势。与大多数遥感技术一样，高光谱成像利用了这样一个事实，即所有物体由于其电子结构（对于可见光谱）和分子结构（对于 SWIR/MWIR 光谱）都具有基于波长的独特光谱指纹。它们吸收和反射的可见光和不可见光。这揭示了普通彩色成像系统（例如，人或相机）看不到的大量细节。在材料中“看到”化学性质的能力在矿产、天然气和石油勘探、天文学以及监测洪泛平原和湿地方面具有广泛的应用。高光谱分辨率、分离度和速度在晶圆检测、计量和健康科学中非常有用。

在这些市场中，传感器和相机制造商正在推动速度、成本、分辨率和功能的界限。我们正在光谱范围内扩展我们的技术，涵盖从 X 射线开始到高精度热成像结束的能量检测，从而使更多应用能够使用这些技术。这种更仔细、更快和更精确的检测有助于制造商对例如食品、寻找污染物、测量内容物和筛查食源性细菌等进行 100% 检测。

更智能的检查

图像处理本质上是数据密集型的。当今以极高帧速率运行的高分辨率成像器可以产生超过 16GB/s 的连续数据。然后，应用程序需要捕获、分析和处理这些数据。人工智能 (AI) 的紧急情况进一步推动了处理需求的边界。

挑战

以用于交通信号灯执法的基于人工智能的摄像头为例。通常，这些应用使用 10 兆像素传感器，每秒运行约 60 帧。这提供了只有 600MB/s 数据的连续数据流。

当今典型的神经网络处理建立在使用小图像帧的基础上，颜色约为 224x224 像素 = 3*50 千像素，每像素 3*1 字节（每帧 150kB）。现代 PC 的 CPU 可以使对象识别神经网络以每秒 20 帧的速度运行，从而实现约 3MB/s 的数据吞吐量。这比交通摄像头的数据吞吐量低 200 倍，因此严重限制了可能的输入数据流。

智能交通解决方案可以将视频和热像仪与人工智能、视频分析、雷达和 V2X 与交通管理和数据分析软件相结合，帮助城市安全顺畅地运行。

重要的是要注意输出流应该被视为信息，而不仅仅是原始数据。以 600MB/s 的图像流为例，系统执行跟踪、读取和处理以获得每个场景的几个数字。我们可能会看到一个车牌，或者在分类应用程序中，甚至只是“弹出：是或否”，将庞大的数据流缩减为一个位。

虽然这不是一件容易的事，但如果实现了，它将对下游数据捕获、处理和存储非常有吸引力。为了解决这些输入数据流的限制，我们需要结合巧妙的传感器工程、先进的 AI 处理器和集成算法解决方案。

强大（且耗电）的处理器

绝大多数相机使用传统半导体，例如中央处理器 (CPU) 或现场可编程门阵列 (FPGA)。更强大的单元可能会使用更强大的 FPGA 或图形处理单元 (GPU)。到目前为止，这些类型的处理器已经能够遵循摩尔定律，但过去的性能并不能保证未来。

此外，GPU、CPU 和 FPGA 消耗大量功率，因此会产生大量热量。在某种程度上，这可以通过良好的设计来管理，但我们需要替代处理器和处理——架构来解决长期的挑战。

量子计算和集成光子/电子处理器正在排队满足任何图像处理应用程序最苛刻的性能/功率要求。

然而，在这些技术变得可用并在商业上可行之前，较新的处理器架构（例如内存计算或集成专用加速）将不断突破可能的界限。

原则上，制造商在为其系统选择合适的处理器时应考虑每秒每瓦特 (TOPS/W) 的万亿次操作。虽然这是一个对原始功率效率有用的品质因数，但我们必须记住，最终要求实际上是每瓦特决策，这是一个尚不存在的指标。

巧妙处理

在处理方面，在微软、苹果和谷歌等巨头的推动下，我们看到了算法在速度和能力方面的进步。基于人工智能的解决方案变得越来越轻巧，但功能更强大，范围更广。传统的基于算法的解决方案以更高的效率利用现代处理器架构。可以集成到现有部署流程中的商业 AI 软件工具的可用性正在降低功耗和成本，同时提高功能。

减少数据

结合先进的图像传感器技术，我们还看到了低数据解决方案的进步，包括在空间、时间甚至光子级别上实现的基于事件的传感，例如光子倍增管或电子倍增 CCD (EMCCD)替代品。

Evolve 相机系列包括由 Teledyne e2v 设计和制造的世界领先的 EMCCD 传感器，以实现量子效率和低读取噪声。Teledyne Photometrics 将传感器集成到相机中，用于单分子成像和 TIRF 显微镜等极低光应用。

基于事件的传感器对变化做出反应，直接在传感器中过滤不相关的数据，仅将来自已更改像素的信息发送到处理器。这与传统的基于帧的传感器不同，后者记录并发送所有像素进行处理，从而使系统的管道负担过重。我们经常将这种类型的数据流称为神经形态处理，因为它的数据处理架构模仿了人脑处理信息的方式。虽然神经形态处理可以在处理器中完成，但如果我们想要实现最佳的数据量减少，我们需要将基于事件的传感器与神经形态处理器相结合。

还有其他巧妙的方法可以动态减少数据传输，包括智能感兴趣区域 (ROI) 功能和动态数据减少算法，我们开始在高端传感器中出现这些方法。

将专门的数据捕获行为与高性能处理器和智能轻量级算法相集成，为我们提供了在边缘做出决策所需的关键组合，即事件发生并需要采取行动的地方。使用这种方法，即使是高性能、高信息量的光学检测系统也可以独立运行，而无需冗长、缓慢和昂贵的 PC 连接，从而使它们能够通过 100% 的监控以更低的成本更快地对问题做出反应。

总体而言，这些进步将提高各种产品、农产品和商品的安全性和质量，同时降低生产成本。

寻找分子

还有另一种层次的检查方法是传统方法无法做到的。与平板制造商不同，平板制造商不希望在他们的显示器上检测细菌，在某些情况下，用户需要在非常高的分辨率下看到细菌。

在这里，我们使用高倍显微镜技术，结合光学、化学、生物和计算的方法来提供关于我们世界的纳米结构的更深入的信息。

图像传感器使检测人体组织中的癌细胞成为可能。虽然目前检测组织样本中的癌症的方法还很粗糙，需要手术切除组织样本，然后将其送往实验室进行进一步研究，但有一天，当病人还在手术台上时，一项新的技术——细胞计数法将允许医生近实时地确定样本是否癌变。随着处理能力越来越接近像素，我们现在可以捕捉细胞的图像，并查看它的DNA，在临床环境中的大型实验室中。在未来，我们将把这种接近实时的细胞检查从大型实验室转移到当地实验室，最后转移到手术台上。

香港大学的研究人员开发了成像流式细胞术技术，以减少血液筛查的时间和成本。使用脉冲激光线扫描成像和 Teledyne SP Devices 的数字化仪，他们能够在 1-2 分钟内处理大量的结果数据——高达 100,000 个单细胞图像/秒和 1 TB 的图像数据——结合深度- 学习神经网络和自动“大数据”分析。

想象一下，在手术过程中为外科医生配备工具以完成诊断。可以实时对肿瘤进行分类和切除，而不是给患者施加压力等待期并迫使医生进行第二次手术。这是生活质量的真正改善。

小型化

尺寸对成像和视觉发展提出了另一层挑战。新颖的高性能解决方案通常既昂贵又庞大。如果我们要为医生及其患者实现更小、更易于使用的解决方案，那么在体内手术期间将基因组分析仪放在桌面上的目标就是我们必须克服的挑战。

用于微型相机应用的超小型图像传感器、光源和处理器即将派上用场。微型尖端芯片 CMOS 图像传感器为外科医生提供了比过去更有效地执行微创内窥镜和腹腔镜手术所需的增强视力。机器人引导的手术同样受益于具有非常小的像素间距和针对特定医疗程序优化的图像质量的紧凑型图像传感器。

用于一次性和柔性内窥镜和腹腔镜的“尖端芯片”CMOS 图像传感器需要具有非常小的像素间距和图像质量的紧凑型传感器，专门针对医疗应用进行了优化。

借助可供医生使用的强大而有效的工具，医疗程序将变得更快、侵入性更小、更成功，从而使患者、医生和整个医学界受益。

即将到来的未来

相机和图像传感技术的进步将不仅对工厂车间、仓库或智能运输系统产生重大影响。这款新一代相机被部署在无人机上或嵌入手持设备中，它将利用光谱技术告诉我们，我们的农产品或饮用水中是否有毒素，或者我们呼吸的空气中是否有环境毒素。

即使是对SARS-CoV-2等疾病的聚合酶链反应(PCR)检测也将更容易、更廉价，因为成本较低的图像传感器将用于分子诊断工具。DNA测序曾经需要大型、昂贵的机器来对人类基因组进行测序，以确定祖先，但由于成像和分析技术的创新，这一技术将变得越来越容易获得，也越来越便宜。

虽然我们不能100%准确地预测，但我们可以根据我们对市场需求和不断发展的技术的了解做出预测。期待更强大的AI处理器，在更低的功耗和更低的温度下提供更强的计算能力。结合强大的算法解决方案，解决方案提供商将获得更广泛的合适应用。

神经形态计算平台将模仿人类视觉的效率。更直观的人工智能软件算法将比以往更有效地训练机器视觉模型。高光谱成像将继续带我们探索地球表面之下。微型图像传感器可以在病人还在手术时进行分子诊断。

自从18世纪早期第一台照相机发明以来，照相机已经走了一百万英里。随着相机和图像传感器的创新，我们将有能力了解周围的世界——以及我们内心的世界，我们将多旅行数百万次。

编辑：黄飞