深度学习偏振成像技术的研究进展

偏振成像技术通过偏振信息的获取和解译，可以有效抑制复杂环境干扰，提升成像质量，增强目标感知能力，对于复杂环境下的光学成像探测具有独特优势。天津大学胡浩丰教授结合本团队工作，介绍了深度学习偏振成像技术的研究进展，阐述了深度学习赋能复杂环境偏振成像任务的优势，并对该领域的未来发展方向进行展望。

撰稿人：胡浩丰

论文题目：基于深度学习复杂环境的偏振成像技术研究进展（特邀）

作者：胡浩丰1,2，黄一钊2，朱震1，马千文1，翟京生1，李校博1

完成单位：天津大学 海洋科学与技术学院；天津大学 精密仪器与光电子工程学院

导读

视觉是人类获得客观世界信息的主要途径，光学成像技术也因此在各个领域占据重要地位。传统光学成像技术大多基于光强和波长所提供的信息，存在的缺陷是受光线传播环境的影响较大，并且对目标的某些物理特性难以做出正确理解。偏振作为光波的基本物理信息之一，可以提供目标自身物理特性，是光学成像新的信息维度。然而，散射、低照度等复杂环境，偏振参量图像将发生严重退化。研究与实践均证实通过偏振信息的获取和解译，可以有效抑制复杂环境干扰，提升成像质量，增强目标感知能力，对于复杂环境下的光学成像探测具有独特优势。复杂环境偏振图像退化机理呈现非线性特征，偏振信息解译方法为非线性逆问题，复杂度较高。深度学习方法具有强大的特征提取和学习能力，通过学习大规模数据隐藏的映射规律获得偏振信息的复原效果。特别适合偏振成像这种多维度、相互关联的复杂信号处理问题。

研究背景

利用偏振信息成像本质上是对光场信息获取维度的提升，通过多维偏振信息的获取与融合处理，可以解决不同复杂环境和应用领域的成像任务。依靠物理模型以及一定先验知识是解决复杂环境偏振成像任务的重要思想。例如，研究人员在散射环境偏振成像机理和物理模型研究的基础上，通过对偏振信息解译，实现了水体、雾霾等散射环境成像效果的提升。依靠物理模型以及一定先验知识的偏振成像方法的图像复原效果很大程度上取决于建立的物理模型是否符合真实环境成像的物理过程。由于构建的物理模型往往存在模型简化和偏离实际应用场景等问题，难以应对极端复杂的成像环境。

近年来，随着计算机技术的不断发展，硬件单元处理大规模数据的性能得到提升，深度学习技术也随之得到蓬勃发展，并在光学成像领域展现出独特优势。深度学习具有强大的特征提取和学习能力，善于通过大量的样本训练，提取和学习信号特征，归纳输入信号和预期结果之间的映射关系，尤其对于多维且相互关联的偏振参量信号处理具有独特优势。基于深度学习复杂环境偏振成像技术以其出色的不同层次特征学习与拟合能力，绕过建立物理模型求解非线性逆问题的障碍，在成像质量客观评价核心指标获得显著提升。文章介绍了基于深度学习偏振成像技术的基本范式，并针对散射和噪声这两种最具代表性的复杂成像环境，对基于深度学习复杂环境的偏振成像技术的代表性研究工作进行系统梳理。

技术亮点

1. 基于深度学习复杂环境的偏振成像技术范式

不同于构建物理模型以及一定的先验知识解决复杂环境偏振成像任务的思路，深度学习技术以偏振成像系统采集得到的多维偏振参量图像作为输入数据，利用网络非线性特征拟合能力，拟合偏振参量图像到复原图像的的映射关系，得到偏振参量图像复原结果。图1为基于深度学习复杂环境的偏振成像技术范式图像。

图1 基于深度学习复杂环境的偏振成像技术范式图像

2. 基于深度学习散射环境的偏振成像研究进展

基于深度学习散射环境下的偏振成像技术旨在利用偏振光特性对散射介质采集的偏振信号进行解译，利用网络非线性拟合与特征学习能力，得到退化图像以及复原图像间的映射关系。文章对该成像任务的两种解决方式，即数据驱动方式和物理模型内嵌的方式代表性研究工作进行归纳，总结了该领域的发展脉络。

天津大学胡浩丰团队首次提出应用于水下复杂成像环境的偏振密集网络（Polarimetric Residual Dense Network, PDN），网络结构如图2（a）所示。Polarimetric-Net的输入是三张不同角度偏振图像，而Intensity-Net仅输入一张强度图像。该设计用于验证采用多维度偏振信息作为输入得到的去散射效果远远优于仅输入光强图像。不同方法复原对比效果如图2（b）所示，复原效果在主观与客观评价指标（Edge-Model Estimation, EME）均为最佳。

图2(a) PDN方法网络结构示意图；(b) PDN网络复原效果以及与其它方法的对比效果

在该技术首次提出后，研究人员使用无监督、自监督的学习方式以及通过仿真合成所需要的图像数据来解决基于深度学习偏振成像去散射技术面临的公开数据集缺失，采集一定规模数据困难的问题。

数据驱动方式将模型视作一个“黑盒子”，学习输入与标签图像间的映射关系。而训练数据不可能涵盖所有的散射环境，面对不同情况散射环境具有局限性。同时这种方式有可能出现与物理知识相悖的复原结果，网络参数训练量较大，训练效率较低。将物理模型以及一定先验知识内嵌网络结构，可以增强网络对于偏振信息退化过程的学习推理能力，以适应不同情况散射环境。

3 基于深度学习噪声环境的偏振成像研究进展

同等噪声水平下，非线性算法解译的偏振参量图像相比线性算法求得的Stokes矢量图像质量退化更为严重。其中偏振角图像放大区域尤为明显，目标信息几乎完全不可见。因此，解决噪声引起的偏振参量图像退化问题是偏振成像技术应用于低照度复杂环境的关键。文章对该领域研究工作进行整理与分类并总结发展脉络。基于深度学习噪声环境的偏振成像技术经历了三个发展阶段。第一阶段研究人员采用有监督端到端的训练方式，实现了偏振参量图像去噪效果。第二阶段研究人员探索采用无监督，自监督，迁移学习方法解决第一阶段遇到的数据集构建成本高效率低的问题。第三阶段，研究人员对网络训练的可解释性作以探究。

胡浩丰研究团队在2020年首次提出基于密集残差网络的偏振图像去噪网络，称之为PDRDN方法。观察图3（d）低信噪比环境下的高质量偏振参量复原效果与真值图像对比图像，基于深度学习技术的偏振图像去噪方法能够有效抑制偏振图像噪声，尤其是对偏振度图像和偏振角图像的去噪效果优越。

图3（a）PDRDN方法网络结构示意图；（b）残差密集块结构；（c）测试集不同材质目标的偏振参量复原效果；（d）偏振参量图像复原效果与真值图像的细节对比

结论与展望

现有研究工作表明：由于偏振信息包含多个参量且具有一定的相关性，这种多维、相互关联的信号处理问题，正适合使用深度学习技术。将深度学习技术与偏振成像技术相结合，可实现光学成像质量的进一步提升，满足复杂环境的成像需求，体现更为突出的优势。未来仍需要进一步完善内嵌物理模型，提高网络的可解释性，探索多模态融合策略，进一步巩固深度学习模型在复杂环境偏振成像中的可行性，增强模型对复杂环境变化的适应能力，使其更具有场景通用性。

团队及作者介绍

团队介绍：

课题组依托天津大学光电信息技术教育部重点实验室和自然资源部海洋观测技术重点实验室，在偏振光学及海洋探测领域具有深厚的研究基础和优越的研究条件。团队完成了多类具备控制、采集、处理、显示、存储等功能的偏振成像系统配套软件。相关科技成果已成功应用于中国核电集团、应急管理部天津消防研究所等单位。

胡浩丰，天津大学英才教授，博士生导师，国家高层次青年人才，国家重点研发计划首席青年科学家。担任中国仪器仪表学会图像科学与工程分会理事、中国光学学会全息与光信息处理专委会委员、中国光学工程学会计算成像专家委员会首届委员。入选中国科协“青年人才托举工程”、天津市首批“青年人才托举工程”、天津市“青年科技优秀人才”，获中国仪器仪表学会金国藩青年学子奖学金。主持国家重点研发计划青年科学家项目1项、国家自然科学基金项目3项。主编学术专著2部，以第一或通讯作者发表SCI论文60余篇，以第一发明人授权国家发明专利19项。研究工作被美国光学学会、英国物理学会等多家机构专题报道。

李校博，天津大学，英才副教授，硕士生导师。入选中国科协“青年人才托举工程”，获中国光学学会王大珩光学奖、天津市优秀博士学位论文等。曾先后在法国高等光学研究所和香港中文大学从事访问学者和研究工作。担任中国光学工程学会计算成像专业委员会青年委员、《应用光学》杂志青年编委等。以第一/通讯作者身份在Optics Letters，Optics Express等国际知名期刊发表学术论文40余篇，先后主持国家自然科学基金项目1项，省部级项目5项。主要研究方向包括海洋光学探测、计算成像、光学测量及计量技术等。

黄一钊，天津大学精密仪器与光电子工程学院2021级硕士研究生，从事水下偏振成像技术相关研究工作，参与国家自然科学基金等多个项目。

审核编辑：黄飞