基于深度学习的图像去模糊算法及应用

本文提出了一个图像去模糊方向的综述，来自澳大利亚国立大学、中山大学、美国加州大学 Merced 分校、日本乐天研究所的研究者回顾了基于深度学习的图像去模糊技术研究进展，回顾了图像去模糊的研究历史，总结了当前的研究进展，并进行了展望。该综述近期被计算机视觉旗舰期刊 International Journal of Computer Vision 接收。

图像去模糊是计算机底层视觉中的一个经典问题，它的目标是将输入的模糊图像中恢复成清晰的图像。近些年，基于深度学习的神经网络在该任务上取得了重大进展。本文对最近发表的基于深度学习的图像去模糊方法进行了全面的回顾，主要看点如下：

1.阐述图像去模糊的研究背景，包括如何定义去模糊、模糊产生的原因、去模糊的方法、质量评估的指标、常见的数据集。 

2.讨论了近些年基于深度学习在图像去模糊领域中取得的进展，对当前的深度去模糊方法进行全面回顾。

3.分析了当前图像去模糊存在的挑战以及未来的研究课题。

背景知识

图像模糊是由拍摄图像过程中的各种因素引起，包括相机抖动、目标运动以及离焦等。根据模糊图片的不同，一般将模糊图片分为如下几类：运动模糊，离焦模糊，高斯模糊，以及混合模糊。

（1）运动模糊：在光照充足的条件下，当曝光时间足够短时，相机可以捕捉到清晰的图像。但是，当曝光时间相对于物体或者相机运动过长的时候，图像会产生模糊，该模糊图片一般被称为运动模糊。

（2）离焦模糊：除了运动模糊之外，图像清晰度还受到目标位置以及相机焦距的影响。在相机的成像区域中，不同目标的景深是不同的，当相机的对焦系统无法对焦到某些目标时，相机就会拍摄到离焦模糊的图片。

（3）高斯模糊：高斯模糊是通过高斯卷积得到的一种模糊图像。

（4）混合模糊：当一个图片同时被多种因素影响时，造成的模糊就是混合模糊，比如相机拍摄在离焦状态下的高速运动物体时，得到的模糊就是一种混合模糊。

为了评估去模糊的效果，通常采用一些图片评估算法，这些算法包括基于主观和基于客观的评测。主观方法是不需要清晰图像作参考的，一个具有代表性的指标是 MOS，评测者用 1-5 的等级对图像质量进行评分，之后对分数进行平均。对于图像去模糊的问题，大多数现有方法都是根据基于客观的指标进行评测，该方法可以进一步分为两类：有参考和无参考的指标。有参考的指标通过将恢复的图像与清晰图进行比较来评估图像质量，包括 PSNR，SSIM, WSNR, MS-SSIM、IFC、NQM、UIQI、VIT、LPIPS 等等，其中 PSNR 跟 SSIM 是最常用的指标。

与有参考的指标不同，无参考指标仅使用去模糊的图像就可以衡量其质量。常见的指标包括 BIQI、BLINDS、BRISQUE、CORNIA、NIQE、SSEQ 等。此外，也有人通过测量去模糊算法对不同视觉任务（例如目标检测和识别）准确性的影响，来评估图像去模糊算法的性能。

非盲图像去模糊

图像去模糊的任务是根据给定的模糊图像，恢复潜在的清晰图像。当已知图片模糊核的情况下，则该问题也可以被称为非盲图像去模糊。尽管已知了模糊核，但是由于传感器噪声和高频信息的丢失，该任务仍然具有挑战性。

一些基于非深度学习的方法通常使用自然图像先验，例如全局或者局部图像先验，在空间域 或频域中重建清晰的图像。为了恢复出更好的图片，近些年，一些基于空间反卷积和深度神经网络的方法相继被提出。本文在下面表格中总结了现有的基于深度学习的非盲方法，这些方法可以大致分为两组：第一组是基于反卷积去噪，而第二组是基于先验去噪声：

盲图像去模糊

当模糊图的模糊核未知时，图像去模糊任务被称为盲图像去模糊。早期的盲图像去模糊方法侧重于去除均匀的模糊核。然而，真实世界的模糊图像，其不同区域通常是由不同的模糊核生成，因此其模糊核是非均匀的。为了解决盲图像的去模糊任务，多种基于深度学习的图像去模糊算法被提出。本文在下面表格中总结了现有的基于深度学习的盲图像去模糊方法，这些方法通常采用各种不同的网络框架，包括多尺度网络、对抗神经网络、级联网络、再模糊网络等等。

损失函数

为了更好的训练深度去模糊网络，各种各样的损失函数被提出。早期的方法大部分是基于像素级内容的损失函数，用于测量网络训练过程中的去模糊图片跟清晰图片的重建误差。考虑到像素级内容的损失不能准确衡量去模糊图像的质量，各种其他的损失函数被提出，包括基于对抗的损失函数、基于感知的损失函数、基于相对模糊的损失函数、基于光流的损失函数等等。

模型性能对比

本本总结了具有代表性的图像去模糊跟视频去模糊算法在主流数据集上的 PSNR/SSIM 指标。

此外，本文总结了不同损失函数对去模糊方法的影响，模型在 non-reference 的评价指标上的表现，以及模型的速度。

特定场景的图像去模糊

当前，绝大部分基于深度学习的图像去模糊算法是不区分场景的，也就是他们是对常见的自然与人为设计的场景进行去模糊。但是，在现实生活中，经常会遇到一些特定场景的图像去模糊。比如人脸去模糊、文本去模糊、双目去模糊。本文总结了这些不同场景的特点，以及各自的深度去模糊算法。

机遇与挑战

尽管图像去模糊算法在主流数据集上取得了重大进展，但把真实世界的模糊图恢复成清晰的图像仍然具有挑战性。本文最后总结了图像去模糊算法现在面临的挑战并讨论了未来可能的研究机会，包括真实数据采集、损失函数、评价指标、模型规模、无监督学习等等。

审核编辑：郭婷