AI研习专题：单图像深度学习去雨研究的最新进展

图像复原是利用退化过程的某些先验知识建立相应的数学模型，通过求解逆问题对原始图像进行估计进而复原被退化的图像。但在退化过程中，噪声和干扰因素同时存在，给图像的复原带来了诸多不确定性和挑战。随着深度学习研究热潮的到来，图像复原仍然是目前计算机视觉领域的重要方向，例如图像去雨、图像去雾和图像去模糊等，是诸多高层视觉任务的重要预处理步骤。雨是最常见的动态恶劣天气，因此本文重点探讨图像去雨任务。特别地，图像去雨分为静态单图像去雨和动态序列图像（即视频）去雨。和视频去雨相比，单图像去雨由于缺乏时域信息因而更具挑战性。图1 展示了部分合成的雨图像和真实的雨图像的对比，从中可见真实雨图中的雨纹信息是更加复杂的、多样化的和多方向的，因此真实雨图的复原任务更加具有挑战性。

图1 合成雨图像和真实雨图像的比较

1 单图像去雨简介

图像去雨任务的数学问题可以简单表示为

I=R+B （1）

即将雨图I 分解为雨纹R 和干净背景B，得到复原的干净图像。由于R 和B 均不可知，因此式（1）是一个病态问题。单图像去雨方法大致分为基于模型+ 优化的方法（ 非深度学习） 和基于数据+训练的方法（ 深度学习）。传统去雨方法更多地依赖对雨纹的光学性质进行研究，通过对雨图进行估计，建立雨纹的先验模型，再通过函数进行优化。例如稀疏编码和高斯混合模型等。

近年来，基于模型的传统方法逐渐被深度学习方法所取代。和传统去雨方法相比，深度学习去雨方法取得了显著的性能提升，主要原因归结于，深度神经网络DNN 具有强大的特征学习能力和对图像的映射能力；以及大量的训练数据为DNN 提供了足够的信息。深度学习去雨方法使用不同的DNN（ 如CNN、RNN 和GAN 等）来提取雨图的层级特征和雨纹信息，得到从雨图到清晰图像的直接映射，即端到端的。为了训练得到更好的深度去雨模型，与雨纹或背景相关的先验知识也会被添加到网络中，如雨纹掩模Mask 和雨纹密度信息等；也设计不同的基础单元进行特征提取，如Residual Dense Block、Contextualized Dilated Block 和Spatial Attentive Module。此外，不同的深度网络被提出，如循环架构和递归架构。

按照配对信息的数量和训练方式，目前的单图像深度学习去雨方法可分为全监督、无监督和半监督三种。图2 展示了部分配对图像和不成对图像。全监督方法的训练数据均为成对数据。但是真实应用中采集的数据都是无标签的，即没有真值图像，因此只使用部分甚至零配对数据的无监督和半监督去雨方法将具有更大的优势，可以有效缓解配对数据受限问题。三种去雨模式的方法框架见图3。

图2 配对图像和不成对图像的对比

图3 全监督/ 无监督/ 半监督训练方式的示意图

目前大部分的深度学习去雨方法均是全监督训练模式。但是由于现实中的雨图不成对，目前主要通过人工加雨纹的方式制造配对数据；然而人工合成的雨纹与真实的雨纹差异很大，因此训练的模型在真实去雨任务上无法取得令人满意的结果，即泛化能力差。因此，本文主要围绕无监督与半监督单图像深度学习去雨研究的最新进展进行简要介绍。

2 无监督单图像深度学习去雨

由于没有配对数据，无监督去雨方法的研究难度更大，因此到目前为止此类方法仍然很少，代表性的几个无监督深度网络模型包括RRGAN、UD-GAN 和DerainCycleGAN。这些基于GAN 的深度方法提出不使用成对训练数据的端到端的单去雨模型，通过深度网络加特定的物理模型或先验知识提取雨纹信息，得到去雨图像。下面， 将分别对RR-GAN、UD-GAN 和Derain-CycleGAN 进行简要介绍。

RR-GAN 的网络架构，由一个多尺度的注意力记忆生成器MAMG 和一个多尺度的深度监督鉴别器MDSD 组成。其中，MAMG 循环递归地利用具有注意机制的记忆模块不断获取更加精确的雨纹信息，接着将原始雨图和雨纹图一起输入到U-Net 中得到复原图像。通过MDSD 对复原的图像进行真假判断，使其外观尽可能接近于无雨图像。RR-GAN 除了使用GAN 的传统损失函数，还加入了一个重构损失函数，度量提取的雨纹加去雨得到的图片与原始雨图的欧氏距离。作者分别测试了在成对数据和不成对数据两种情况下得到的去雨性能。从结果看，监督模式的效果并没有明显优于无监督模式的效果。对于这一点，作者并没有给出确切原因。可能的原因是MDSD 只会对图片是否有雨进行真假判别，而不会对图像是否相似进行判别。

UD-GAN 提出一个无监督的生成对抗网络来处理单图像去雨，通过引入自监督约束解决无配对数据受限的问题。自监督学习目前受到了深度学习领域的青睐和广泛关注，Yann LeCun 在AAAI 2020 论文“Self-Supervised Learning” 中再次强调了自监督学习的重要性。关于自监督学习的具体细节，可查阅《中国人工智能学会通讯》2020年第10卷第1期中陈松灿教授的《自监督学习的最新进展与展望》一文。具体地，UDGAN设计了两个协同优化模块，即雨纹引导模块RGM 和背景引导模块BGM，来充分学习雨图特征。其中，RGM用于区分真实雨图和基于BGM生成器输出的假雨图，此功能与RR-GAN中的重构损失函数类似。BGM采用高斯模糊处理原始雨图和输出的无雨图像，通过计算不同程度的高斯模糊后的梯度误差来确保输入输出内容的一致性，效果类似于使用vgg16或者vgg19网络提取特征后的感知损失。此外，由于输出的去雨图像与原图存在亮度差异，还引入了亮度增强的干净图片作为负样本，并将亮度对抗损失函数集成到鉴别器中。相对于RR-GAN的单个生成器和判别器，UD-GAN利用了CycleGAN的循环一致性结构，使用了两种生成器和两种判别器，可以使图片从有雨域到无雨域再到有雨域进行转化。该方法在合成数据和真实数据上都取得了不错的去雨结果。当同时利用合成数据和真实数据时，去雨效果甚至可超越部分全监督学习去雨模式。

DerainCycleGAN构建了一个双支路网络进行无监督去雨，可分别处理和利用有雨图片域和无雨图片域中的信息。具体地，提出一种基于无监督注意力引导的雨纹信息提取器U-ARSE，同时对有雨图像域和无雨图像域进行雨纹识别和提取，通过U-ARSE内的循环递归来实现。提取出的雨纹信息（从有雨图像中提取的是雨纹掩模信息，从无雨图像中提取的是空白信息）与原始图片一同输入到对应的生成器中分别生成去雨后图像和加雨图像，然后继续生成重构的原始图像。为了优化U-ARSE，设计了一个物理先验来约束雨纹信息，并使用了较全面的损失函数来约束整个网络。和RR-GAN、UD-GAN相比，该网络同样使用了两种生成器和两种判别器，但是RR-GAN和UD-GAN是直接利用单路结构进行无监督学习，而DerainCycleGAN采用了双路结构。由于利用了干净图片域的信息，进一步提高了去雨效果。此外，DerainCycleGAN还利用第二条支路来自动生成了带雨图片。与现有的合成数据相比，新生成的雨纹具有更多的方向和形状，更加接近真实雨纹信息。作者通过对比试验验证了在新数据集上训练模型，在真实去雨任务中具有更好的效果。

3 半监督单图像深度学习去雨

半监督去雨方法除了使用合成数据，还增加了真实数据进行联合训练。由于合成数据和真实数据的差异较大，如何进行有效的约束和建立两个域间的联系是个很大挑战。因此，针对半监督去雨方法的研究也非常少，代表性的方法包括半监督迁移学习算法SIRR 和Semi-DerainGAN 算法等。接下来，将分别对SIRR 和Semi-DerainGAN的网络架构进行简要介绍。

SIRR使用了CNN同时处理合成图像数据和真实数据。对于合成数据直接采用传统的网络输出图像， 与干净图像间的最小二乘损失（MSEloss）进行约束。对于真实数据，通过在真实图片残差（即真实雨图减去真实输出图像）的基础上设计参数化分布的似然项来约束去雨效果。最后，通过合成图片的残差（即合成带雨图像减去对应的无雨图像）与真实图片的残差之间的相对熵（即KL 散度）来约束合成图像域与真实图像域的去雨效果。SIRR通过监督模式下的合成雨纹信息学习来指导无监督模式下的真实雨纹信息学习，缓解了合成数据不足与样本偏差的问题。SIRR还使用了高斯混合模型（GMM）来模拟真实雨纹，以及使用EM算法来进行求解，具有一定的指导意义。但是合成图像和真实图像中的雨纹信息差异通常很大，因此通过添加合成雨纹域和真实雨纹域之间的约束（即减少合成残差与真实残差之间的KL距离）来训练一个共用的深度网络可能不合适。因为该过程会导致对合成数据中提取的雨纹信息进行蒸馏，降低了监督网络的精准度，使得该SIRR 模型在处理大雨情况下的图像去雨任务时会留下较多的雨纹信息。

为了解决上述问题，Semi-DerainGAN提出了一种新的基于半监督模式的深度单图像去雨网络。该网络提出一种基于共享参数的半监督雨纹信息学习器SSRML，可以同时训练合成数据和真实数据，使得真实图像能提供更多的雨纹信息。该方法使用两个独立的深度网络生成器分别进行合成数据和真实数据的去雨操作，可减轻在一个深度网络中进行去雨所造成的知识冲突和学习力下降的问题。引入的第三个生成器可以进一步对真实数据的去雨结果进行重构，加强有雨域和无雨域图片的生成转化。对于全监督子网络中的合成数据，使用了传统的对抗损失、结构相似性损失和感知损失等；对于无监督子网络中的真实数据，使用了对抗损失、TV 正则化、感知损失和循环一致性损失。为了获得更好的去雨效果，针对性地设计了一个成对图片鉴别器，可区分合成数据中的真假图片对。与SIRR 相比，Semi-DerainGAN 在合成数据集和真实数据集上都取得了更好的实验结果。但是，由于合成数据和真实数据中所包含的雨纹信息差异大，以及全监督和半监督训练中约束条件的不平衡，使用基于两条对称支路的训练可能会导致收敛较慢的情况。

4 结束语

现有对单图像深度学习去雨方法的研究主要集中在全监督模式上，通过使用深度神经网络结合人工先验的方式，对合成数据中雨纹（滴）的分布进行拟合，训练出一个端到端的去雨网络。这些方法一方面无法利用真实图像数据进行训练，另一方面也无法很好地泛化到真实去雨任务中。无监督和半监督的单图像深度学习去雨方法可以有效弥补这些不足，但是由于可用的先验信息少，因而研究难度更大，关于此类研究工作目前还处于起步阶段，相关方法还比较少，未来还有很大的研究空间。此外，单图像雨域和非雨域间的迁移学习、图像领域和视频领域去雨的迁移学习等将是未来图像去雨研究值得关注的一些方向。