基于图像的红外偏振成像系统性能模型结构与原理

红外偏振成像系统快速发展且应用广泛，但评估其性能的成像系统性能模型发展不足。迫切需要能够与先进的偏振成像系统相匹配的性能模型。研究认为，搭建系统性能模型应该考虑几个基本条件：是否自动化、是否有应对非线性图像处理的能力、是否能在复杂环境下依旧保证性能评估的准确性。

据麦姆斯咨询报道，近期，北京理工大学光电学院和光电成像技术与系统教育部重点实验室的联合科研团队在《红外技术》期刊上发表了以“红外偏振成像系统性能评估模型”为主题的文章。该文章第一作者和通讯作者为王霞副教授，主要从事图像处理、红外偏振成像、光电探测等方向的教学和研究工作。

本文首次将深度学习方法引入性能模型，提出了一个自动化的基于图像的红外偏振成像系统性能模型。并通过红外偏振辐射原理仿真海面舰船数据集，基于该典型场景对模型展开测试。实验结果表明，该模型对于红外偏振成像系统的评估结果与人的主观感知具有较好的一致性。

模型结构与原理

图1展示了本文所提出模型的基本架构。模型由两个主要模块（图中灰色部分）构成：成像系统退化模块、性能感知模块（图中蓝色部分）。成像系统退化模块用于计算从光学系统捕捉场景到显示器显示的整个过程的退化反应。性能感知模块由PRI-YOLOv5网络和预测网络组成，这个模块负责接收退化图像，并判断目标的可识别、可确认概率。其中，PRI-YOLOv5网络基于原YOLOv5网络进行改进，用网络模拟观察者观察图像的信息提取过程和识别/确认图像中目标的判断过程。预测网络则学习图像内容与可识别/确认概率的关系，从而破除网络仅能判识已知目标（包含在数据集中）的局限性。在评估一个新的系统时，我们需要输入高质量的原始图像，并根据系统的硬件参数量身定制成像系统退化模块，退化完成后输入性能感知模块，从而得到最终的目标获取性能。

图1 基本系统性能模型结构（绿色）。灰色：两个主要模块; 蓝色：性能感知模块

成像系统退化模块

成像系统退化模块根据系统的参数模拟了系统的退化效应。退化主要来自于4个部分：光学系统、探测器、电子电路、显示器。有些系统集成了数字图像处理功能，这些功能的影响可以放在探测器退化后面模拟。尽管该退化模块对整个系统性能模型有重要的贡献，但这不是本文主要讨论的问题。我们参考文献，在频域来完成整个退化过程。

性能感知模块

性能感知模块是本文提出的系统性能模型的重要环节，该模块通过适当地训练深度学习网络，使其学习人眼对图像中目标判识的过程。再根据后续统计得出系统的目标获取性能。它包含了两个部分：PRI-YOLOv5网络和预测网络。

PRI-YOLOv5网络

YOLO是当前计算机视觉领域最热门的目标检测网络之一。自2016以来，YOLO系列网络不断朝着更优的方向发展。YOLOv5是其第五代版本，它采用CSPDarknnet53作为骨干网络（Backbone）、PANet作为颈部网络（Neck）、YOLO探测头作为头部网络（Head）。该网络的输出为图像中的每个目标标注预选框和标签。预选框代表着网络认为目标最有可能存在的位置，标签包含了所框选目标可能的种类以及相应的概率。YOLOv5的损失函数包括了坐标损失、置信度损失和类别损失3个部分。

深度学习起源于神经网络，它通过模拟人脑对信息抽象的过程提取信息，来完成高级任务。考虑到YOLOv5的结构和其优越的性能，我们从原理上进行详细的分析，并对该网络的头部网络输出和损失函数部分进行改进。使其替代传统模型中的仿人眼视觉系统模型/观察者对大量数据进行观察并判断的过程，完成模拟人眼和大脑自动对特征提取并输出场景中目标的可识别、可确认概率的功能。由于其输出为可识别和确认概率（PRI），将该改进的网络称为PRI-YOLOv5。图2为PRI-YOLOv5的结构及输出定义示意图。

图2 PRI-YOLOv5的结构及输出定义示意图

预测网络

上述的PRI-YOLOv5网络已实现了性能感知模块的基本功能，但由于目标检测网络只能对数据集中存在的/已标注的目标类别进行判识。而作为判断系统性能的一个环节，该模块应该根据成像系统拍摄图像的质量，对图像中所有的目标均可进行判识。为破除PRI-YOLOv5对可判识目标类别的限制，我们选取文献中的网络作为预测网络。此网络由Su等提出并命名为HyperIQA，被用于盲图像质量评价领域。它包含了3个部分：提取语义特征的骨干网络，学习质量感知规则的超网络和预测最终数值的目标网络。该预测网络可以随着图像内容的变化自适应地调节权重参数，使预测值不断向真值靠近。可用于学习图像内容和数字（概率）之间的映射关系。

如图3所示，只需将PRI-YOLOv5的数据集和其训练出的概率值分别作为预测网络的输入和真值标签。网络即可学习其映射关系。在训练完成后，该网络理论上可以对不同条件下拍摄的目标（或许是未知类别）进行识别和确认概率的判断。主观上来说，具有相似语义特征或内容的图像中的目标应具有相近的可识别/确认概率。另外，由于每张图片对应两个概率标签，所以该网络需要训练两次。

图3 预测网络示意图

实验过程与结果

鉴于红外偏振数据的难以获取，本章首先基于海面场景的红外偏振辐射模型，建立了仿真数据集。随后，我们分别介绍了性能感知模块两个网络的实施细节及结果。最后，对整个模型进行了测试。

海面舰船数据集

图4描述了海面舰船场景仿真的过程。首先，下载舰船的3D模型文件（通常以.max结尾），并对船模型做一些必要的简化，保留其主要特征，来避免模型的过度复杂并减少对计算资源的消耗。导出舰船模型文件并生成高度场。同时，基于波浪谱合成高分辨率的海面。考虑到舰船吃水的实际情况，适当地降低舰船的高度场使其与海面高度场相融合。参考文献对合成高度场进行光线逆追迹，同时保存反射点、法线和反射方向等重要信息。最后，结合这些有效信息、折射率及舰船和海面的温度等计算出偏振辐射度，从而获得场景仿真结果。

图4 场景仿真示意图

根据上述原理，选取6个不同型号的船只作为场景中的观测目标，它们属于3个不同的种类：护卫舰、驱逐舰、巡逻舰。表1展示了船只模型及其尺寸，具体型号以ship1~ship6代为表示。由于场景仿真的原理复杂，计算量大耗时较长。虽然针对船模型以及尺寸较小的海面进行仿真，可成倍缩小计算量。但是基于模型仿真并不完全符合实际情况，如仿真距离和焦距不同对路径中大气传输和红外辐射的影响等。故按照表2中组1参数对船模型进行仿真，并配套以较小的海面尺寸、较近的拍摄距离，用于网络预训练。另外，按照船只的实际尺寸对模型进行放大。护卫舰和驱逐舰模型长度在1.94~4 m之间，实际长度约为模型的50倍，在97~196 m之间，长宽比约为8。巡逻舰由于其任务的特殊性，通常具有更小的尺寸，模型长度约为2 m，实际长度约为模型的35倍，约为62.5 m，长宽比约为4。按照表2组2参数对其进行仿真，用于网络的正式训练。假设仿真是在有太阳辐射的夏季进行的，表2列举了其他的变量和常量。相机的硬件参数根据法国CEDIP公司的一款Jade中波红外偏振相机的说明书进行设置。

表1 船模型及类别

表2 仿真中变量和常量参数设置

仿真图像共计506组，图5给出了一组仿真结果示例，（a）~（e）是5个常见的Stokes参数，即偏振角（AoP）、线偏振度（DoLP）、强度（I）、水平和垂直方向的辐射强度差（Q）和对角方向辐射强度差（U）。经过观察，图（b）~（d）保存了更多的图像细节及偏振信息，将其依次拼接为三通道图像，记为1张。共计图像506张，组1图像288张，组2图像218张。

图5 仿真结果示例

性能感知模块实施细节及结果

PRI-YOLOv5的训练在NVIDIAGeForce GTX 1060 GPU上基于Python 3.6和Pytorch 1.7.0环境实现。训练及测试结果如图6至图8所示。

图6 PRI-YOLOv5训练结果

图7 预测网络测试结果

图8 两组数据预测差值与其相似性的关系

系统性能模型结果及分析

接下来将基于已构建的性能感知模块，进一步测试整个性能模型的有效性。按照图1所示的模型架构，选取3款红外偏振成像系统（代号A款、B款、C款）进行整体的性能评估，系统的主要参数见表4。对于原始仿真图像，需要首先经历系统的退化，然后输入训练好的性能感知模块，来获取最终的目标获取性能。

表4 待评估红外偏振成像系统主要参数

图9展示了上述3款系统的退化效果图，左侧为偏振图像，右侧为按照次序叠加的三通道图像。观察可知，系统A的分辨率最低，成像较为模糊，而系统B的分辨率最高。图10展示了测试数据经过退化后，输入到性能感知模块得到的预测结果经过二次拟合得到的曲线。结果显示，系统的识别/确认概率随距离变远而下降，B系统拍摄的图片质量较高，其性能表现最佳。其次是为C系统，两款系统均在3.7 km仍保持50%的识别概率。而A系统的50%识别概率则需要通过预测来获得，超出了数据涵盖的距离范围。在4.2~4.3 km之间，A系统的识别概率和B、C两款系统的确认概率出现交叉，这可能是由于该系统的探测器分辨率过低。总体来说，该评估结果与主观认知基本吻合，和实验室前期实拍实验得出的结论基本相符。

图9 几款待评估偏振系统的退化效果示意图

图10 不同距离处的目标获取概率（三款系统）

结论

本文首先介绍了红外偏振成像系统相关性能模型的研究背景和研究现状，并分析了已有性能模型的优缺点。并根据目前的需求，建立了一个基于图像的红外偏振成像系统性能模型。为满足系统性能模型的自动化需求，首次将深度学习方法引入模型。作为搭建系统性能模型与深度学习方法之间桥梁的初次尝试，该项研究有望引领系统性能模型领域朝此方向发展。对于模型中较为关键的性能感知模块的原理和相关实验的实施细节及原理进行了详细的描述。结果表明，整个系统性能模型可对已知硬件参数的红外偏振成像系统进行性能评估，并且所得结果与人的主观认知具有较好的一致性。此外，本文基于物理模型构建了面向海面场景的红外偏振数据集，可应用于各项相关研究。

文中搭建的模型基于自建的仿真海面舰船数据集展开实验验证。后续可进一步讨论其他典型场景，如地面坦克等。另外，仿真技术对仿真图像的质量有直接的影响。应进一步提升仿真水平。同时，在后续的研究中，有望将该模型应用于更多不同类型相机的性能测试。

编辑：黄飞