计算成像发展现状、热点问题以及发展趋势

摘要：计算成像是融合光学硬件、图像传感器、算法软件于一体的新一代成像技术，它突破了传统成像技术信息获取深度（高动态范围、低照度）、广度（光谱、光场、三维）的瓶颈。本文以计算成像的新设计方法、新算法和应用场景为主线，通过综合国内外文献和相关报道来梳理该领域的主要进展。从端到端光学算法联合设计、高动态范围成像、光场成像、光谱成像、无透镜成像、低照度成像、三维成像、计算摄影等研究方向，重点论述计算成像领域的发展现状、前沿动态、热点问题和趋势。端到端光学算法联合设计包括了可微的衍射光学模型，折射光学模型以及基于可微光线追踪的复杂透镜的模型。高动态范围光学成像从原理到光学调制，多次曝光，多传感器融合以及算法等层面阐述不同方法的优点与缺点以及产业应用。光场成像阐述了基于光场的三维重建技术在超分辨、深度估计和三维尺寸测量等方面国内外的研究进展和产业应用，以及光场在粒子测速及三维火焰重构领域的研究进展。光谱成像阐述了当前多通道滤光片，基于深度学习和波长响应曲线求逆问题，以及衍射光栅，多路复用，超表面等优化实现高光谱的获取。无透镜成像包括平面光学元件的设计和优化，以及图像的高质量重建算法。低照度成像包括低照度情况下基于单帧、多帧、闪光灯、新型传感器的图像噪声去除等。三维成像主要包括针对基于主动方法的深度获取的困难的最新的解决方案，这些困难包括强的环境光干扰（比如太阳光），强的非直接光干扰（比如凹面的互反射，雾天的散射）等。计算摄影学是计算成像的一个分支学科，它从传统摄影学发展而来，更侧重于使用数字计算的方式进行图像拍摄。在光学镜片的物理尺寸、图像质量受限的情况下，如何使用合理的计算资源，绘制出用户最满意的图像是其主要研究和应用方向。

关键词：端到端成像；高动态范围成像；光场成像；光谱成像；无透镜成像；低照度成像；三维成像；计算摄影

物理空间中，有着多种维度的信息，例如光源光谱，反射光谱、偏振态、三维形态、光线角度，材料性质等。而成像系统所最终成得的像最终决定于，光源光谱，光源位置，物体表面材料光学性质如双向投射/散射/反射分布函数，物体三维形态等。然而，传统的光学成像依赖于以经验驱动的光学设计，旨在优化点扩散函数（Point Spread Function, PSF)，调制传递函数（MTF）等指标，目的是使得在探测器上获得更清晰的图像，更真实的色彩。通常“所见即所得”，多维信息感知能力不足。随着光学、新型光电器件、算法和计算资源的发展，可将它们融为一体的计算成像技术逐步解放了人们对物理空间中多维度信息感知的能力，与此同时，随着显示技术的发展，特别是3D甚至6D电影，虚拟现实/增强现实（VR/AR）技术的发展，给多维度信息也提供了展示平台。以目前对物理尺度限制严格的手机为例，使用从目前的趋势看，手机厂商正跟学术界紧密结合。算法层面如高动态范围成像、低照度增强、色彩优化、去马赛克、噪声去除甚至是重打光逐步应用于手机中，除去传统的图像处理流程，神经网络边缘计算在手机中日益成熟。光学层面如通过非球面乃至自由曲面透镜优化像差，通过优化拜尔（Bayer）滤光片平衡进光量和色彩。

本文围绕端到端光学算法联合设计、高动态范围成像、光场成像、光谱成像、无透镜成像、偏振成像、低照度成像、主动三维成像、计算摄影等具体实例全面阐述当前计算成像发展现状、前沿动态，热点问题、发展趋势和应用指导。任务框架如图1所示。

图 1 计算成像的任务

端到端光学算法联合设计（end-to-end camera design）是近年来新兴起的热点分支，对一个成像系统而言，通过突破光学设计和图像后处理之间的壁垒，找到光学和算法部分在硬件成本、加工可行性、体积重量、成像质量、算法复杂度以及特殊功能间的最佳折中，从而实现在设计要求下的最优方案。端到端光学算法联合设计的突破为手机厂商、工业、车载、空天探测、国防等领域提供了简单化的全新解决方案，在降低光学设计对人员经验依赖的同时，将图像后处理同时自动优化，为相机的设计提供了更多的自由度，也将轻量化、特殊功能等计算摄影问题提供了全新的解决思路。其技术路线如图2所示。

图2 端到端光学算法联合设计技术路线

高动态范围成像（high dynamic range imaging，HDR）在计算图形学与摄影中，是用来实现比普通数位图像技术更大曝光动态范围（最亮和最暗细节的比率）的技术。摄影中，通常用曝光值（Exposure Value，EV）的差来描述动态范围，1EV对应于两倍的曝光比例并通常被称为一档（1 stops）。自然场景最大动态范围约22档，城市夜景可达约40档，人眼可以捕捉约10~14档的动态范围。高动态范围成像一般指动态范围大于13档或8000:1（78dB），主要包括获取、处理、存储、显示等环节。高动态范围成像旨在获取更亮和更暗处细节，从而带来更丰富的信息，更震撼的视觉冲击力。高动态范围成像不仅是目前手机相机核心竞争力之一，也是工业、车载相机的基本要求。其技术路线如图3所示。

 

图3 高动态范围成像技术路线

光场成像（light field imaging，LFI）能够同时记录光线的空间位置和角度信息，是三维测量的一种新方法。经过近些年的发展，逐渐成为一种新兴的非接触式测量技术，自从摄影被发明以来，图像捕捉就涉及在场景的二维投影中获取信息。然而，光场不仅提供二维投影，还增加了另一个维度，即到达该投影的光线的角度。光场拥有关于光阵列方向和场景二维投影的信息，并且可以实现不同的功能。例如，可以将投影移动到不同的焦距，这使用户能够在采集后自由地重新聚焦图像。此外，还可以更改捕获场景的视角。目前已逐渐应用于工业、虚拟现实、生命科学和三维流动测试等领域，帮助快速获得真实的光场信息和复杂三维空间信息。其技术路线如图4所示。

图4 光场成像技术路线

光谱成像（spectrum imaging）由传统彩色成像技术发展而来，能够获取目标物体的光谱信息。每个物体都有自己独特的光谱特征，就像每个人拥有不同的指纹一样，光谱也因此被视为目标识别的“指纹”信息。通过获取目标物体在连续窄波段内的光谱图像，组成空间维度和光谱维度的数据立方体信息，可以极大地增强目标识别和分析能力。光谱成像可作为科学研究、工程应用的强有力工具，已经广泛应用于军事、工业、民用等诸多领域，对促进社会经济发展和保障国家安全具有重要作用。例如，光谱成像对河流、沙土、植被、岩矿等地物都具有很好的识别效果，因此在精准农业、环境监控、资源勘查、食品安全等诸多方面都具有重要应用。特别地，光谱成像还有望用于手机、自动驾驶汽车等终端。当前，光谱成像已成为计算机视觉和图形学研究的热点方向之一。

无透镜成像（lensless imaging）技术为进一步压缩成像系统的尺寸提供了一种全新的思路（Boominathan等，2022)。传统的成像系统依赖点对点的成像模式，其系统极限尺寸仍受限于透镜的焦距、孔径、视场等核心指标。无透镜成像摒弃了传统透镜中点对点的映射模式，而是将物空间的点投影为像空间的特定图案，不同物点在像面叠加编码，形成了一种人眼无法识别，但计算算法可以通过解码复原图像信息。其在紧凑性方面具有极强的竞争力，而且随着解码算法的发展，其成像分辨率也得到大大提升。因此，在可穿戴相机、便携式显微镜、内窥镜、物联网等应用领域极具发展潜力。另外，其独特的光学加密功能，能够对目标中敏感的生物识别特征进行有效保护，在隐私保护的人工智能成像方面也具有重要意义。

低光照成像（low light imaging）也是计算摄影里的研究热点一。手机摄影已经成为了人们用来记录生活的最常用的方式之一，手机的摄像功能也是每次发布会的看点，夜景模式也成了各大手机厂商争夺的技术制高点。不同手机的相机在白天的强光环境下拍照差异并不明显，然而在夜晚弱光情况下则差距明显。其原因是，成像依赖于镜头收集物体发出的光子，且传感器由光电转换、增益、模数转换一系列过程会有不可避免的噪声；白天光线充足，信号的信噪比高，成像质量很高；晚上光线微弱，信号的信噪比下降数个数量级，成像质量低；部分手机搭载使用计算摄影算法的夜景模式，比如基于单帧、多帧、RYYB阵列等的去噪，有效地提高了照片的质量。但目前依旧有很大的提升空间。低光照成像按照输入分类可以分为单帧输入、多帧输入( burst imaging)、 闪光灯辅助拍摄和传感器技术，技术路线如图2所示。技术路线如图5所示。

图 5 低光照成像技术路线

主动三维成像（active 3D imaging）以获取物体或场景的点云为目的，被动方法以双目立体匹配为代表，但难以解决无纹理区域和有重复纹理区域的深度。主动光方法一般更为鲁棒，能够在暗处工作，且能够得到稠密的、精确的点云。主动光方法根据使用的光的性质可分为基于光的直线传播如结构光，基于光速如Time-of-fligt（TOF），包括连续波TOF（iTOF）和直接TOF（dTOF），和基于光的波的性质如干涉仪，其中前两种方法的主动三维成像已广泛使用在人们的日常生活中。虽然主动方法通过打光的方式提高了准确性，但也存在由于环境光（主要是太阳光）、多路径干扰（又称做非直接光干扰）引起的问题，这些都在近些年的研究过程中有了很大的进展，如图6和图7所示。

图 6 抗环境光技术路线

图 7 抗非直接光技术路线

计算摄影学（computational photography）是计算成像的一个分支学科，它从传统摄影学发展而来。传统摄影学主要着眼于使用光学器件更好地进行成像，如佳能、索尼等相机厂商对于镜头的研究；与之相比，计算摄影学则更侧重于使用数字计算的方式进行图像拍摄。在过去10年中，随着移动端设备计算能力的迅速发展，手机摄影逐渐成为了计算摄影学研究的主要方向：在光学镜片的物理尺寸、成像质量受限的情况下，如何使用合理的计算资源，绘制出用户最满意的图像。计算摄影学在近年来得到了长足的发展，其研究问题的范围也所有扩展，如：夜空摄影、人脸重光照、照片自动美化等。受图像的算法，其中重点介绍：自动白平衡、自动对焦、人工景深模拟以及连拍摄影。篇幅所限，本报告中仅介绍目标为还原拍摄真实场景的真实信息的相关研究。　　

      审核编辑：彭静