面向多功能三维视觉的紧凑型光场摄影

3D成像对于感知、建模和理解物理世界来说至关重要，在导航、机器人以及医学成像等领域有着广泛的应用。然而，3D场景与传感器之间存在着固有的维度差距，这些传感器最多可以像曲面传感器阵列一样布置在2D表面。因此，只能从给定角度捕获场景的2D投影。为了恢复深度数据，必须沿着额外的光轴进行补充测量，例如：多视图测量中的角度轴和基于飞行时间（ToF）传感的时间轴。多视图测量方法（例如立体视觉方法、结构光方法和光场成像方法）和飞行时间方法（例如iToF和dToF）具有各自的独特优势和局限性，但长期以来，两者分开用于3D成像相机的设计，限制了现有3D视觉解决方案的能力和应用范围。目前，能够在广泛的距离范围内实现高速、准确的3D成像并自如地应对严重遮挡，仍然极具挑战性。

据麦姆斯咨询报道，近日，之江实验室类人感知研究中心与美国加州大学洛杉矶分校生物工程系合作在Nature Communications期刊上发表了以“Compact light field photography towards versatile three-dimensional vision”为题的研究论文。该研究论文通讯作者为之江实验室类人感知研究中心封晓华和加州大学洛杉矶分校Liang Gao。封晓华主要从事简约光场摄影（compact light field photography，CLIP）、非视域三维视觉、光场层析技术（LIFT）、超快成像的研究工作。

这项研究提出了一种简约光场摄影（CLIP）技术，以便显著地提高对密集光场采样的效率和灵活性。与以往需要密集采样2D图像来恢复4D光场的压缩光场相机不同，CLIP是一个系统框架，可用于设计任意采用非局部数据采集的成像模型，并将其转换为高效光场成像的方法。该方法主要通过将设计好的或现有的非局部图像采集过程分布到不同的视图中，并对4D光场固有的相关性进行建模；CLIP可以恢复4D光场，或直接从比单个子孔径图像更小的测量数据集中恢复重新聚焦的图像。

CLIP原理图

在CLIP框架下，通过变换单像素相机、X射线计算机断层成像以及漫射器（diffuser）相机等的成像模型，可以利用任意格式的传感器（如单像素、线性阵列和稀疏2D面探测器）来进行高效的光场成像。此外，CLIP生而为相机阵列系统打造，提高了对传感器测量缺陷和严重场景遮挡的稳定性。通过使用CLIP，该研究还实现了多视图测量方法与飞行时间方法的无缝协同，并展示了在扩展深度范围对无纹理场景进行单次3D成像，在严重遮挡情况下的稳定3D视觉，以及在弯曲和不连贯墙壁下的实时非视域（NLOS）成像，这些对于现场应用来说都是尚未完成的关键任务。

另外，CLIP对4D光场的记录，本质上是光学领域的有效降维，实现了利用低维传感器（例如无处不在的1D或0D（单像素）探测器）获取高维信息，低维传感器目前仍是超快时间维度、红外以及太赫兹光谱领域成像的主要传感器类型。该特性有助于将CLIP部署为通用的快照多维成像平台，以大规模并行的方式对全光学函数进行采样。例如，通过将CLIP中的1D超快传感器扩展为百万像素SPAD等2D面探测器，额外的空间维度就可以轻易地用于测量物体的光谱。定量偏振信息也可以通过在像素上覆盖偏振片层来提取，类似于利用彩色滤光片阵列进行彩色摄影。偏振信息通常用于深度感知和细化，这可能进一步增强CLIP的3D视觉性能。

这项研究论文主要介绍了利用简单的光学器件和少量任意格式传感器（从二维面探测器到单点探测器）来获取大规模光场的CLIP技术，并且最终实现了数据量降低几个数量级的密集多视图测量。该研究展示了将CLIP技术用于高效的多视图获取飞行时间信号，从而实现扩展深度范围和严重场景遮挡的快照3D成像。此外，该研究还展示了如何利用CLIP实现曲面和不连贯表面的实时非视域3D视觉。CLIP将为高速3D成像带来诸多益处，并将在多领域开辟新的应用途径。

有遮挡的3D成像

在扩展深度范围内进行快照Flash激光雷达（LiDAR）成像

通过CLIP-ToF实现NLOS成像

这项研究工作获得了美国国立卫生研究院（NIH/NIGMS，授权号：R35GM128761(LG)）的支持。

论文链接：
https://www.nature.com/articles/s41467-022-31087-9

审核编辑 ：李倩