一种边缘引导的显著性目标检测网络EGNet

显著性检测的主要任务是检测出图像中具有最独特视觉特征的目标区域，它在视觉内容编辑、目标检测、渲染、分割等领域有着重要的应用。深度学习特别是全卷积神经网络的发展极大地促进了显著性检测的进步，但目前的方法对于目标边缘的处理还比较粗糙。   为了获取更为精确的显著性目标区域，来自南开大学的研究人员利用显著性边缘和显著性目标间的互补性提出了一种边缘引导的显著性目标检测网络EGNet，大幅度改进了显著性检验的边缘效果和定位效果，并在多个数据集上取得了优异的结果。
 

EGNet
 

对于显著性目标检测来说，先前的方法都没有重视显著性边缘检测与显著性目标检测间的互补性。一个优异的显著性边缘检测算法将有效地在定位和分割方面促进显著性目标检测算法，反之亦然。在这种思想的指导下，研究人员开始探索利用单个网络融合显著性边缘信息与显著性目标信息来实现更好的端到端显著性检测。

这一网络的主要任务在于对互补信息建模，并利用两种显著性信息来提升检测的性能。网络的框架如下图所示，包含了主干网络和用于互补信息融合显著性检测的多个模块。

研究人员首先使用VGG作为相对独立的主干网络对图像进行不同层级的信息抽取，并将这五路不同层级的旁支特征送入后续的融合与检测模块中。其中Conv1-2感受野太小没有被采用，而Conv2-2则主要包含边缘信息，用于后续的边缘显著性检测和显著性目标检测。

      随后需要分别对图像中的显著性目标特征和边缘特征进行有效抽取和融合。研究人员采用了渐进式的属性目标特征抽取(PSFEM 部分)和非局域的显著性边缘特征抽取(NLSEM )。

研究人员使用了U-Net 架构来抽取多分辨率特征，以便获取更丰富的纹理信息。在原始U-Net 的基础上，在旁支上添加了三个卷积层以获取更为鲁棒的显著性信息。最终每一层级输出mask 并与GT 值进行比较以获取目标特征损失。

为了构建并抽取边缘特征，研究人员使用了VGG中的Conv2-2输出特征来进行处理。然而局域信息不足以获取完整的显著性边缘特征，所有还需要结合顶部的语义信息。此外最顶层的层感受野最大定位也最为准确，于是研究人员设计了一种自定向下的定位信息传输机制，将Conv6-3经过卷积后的特征与Conv2-2进行结合，最后利用GT的显著性边缘来获取边缘损失。

在获取互补的显著性边缘及目标特征后，就可以利用边缘信息来引导显著性特征信息实现更好的检测。研究人员将不同层级目标特征的结果与边缘特征FE进行融合实现特征提升。随后得到不同层级特征下获取的掩膜结果，同时在每个结果上添加监督信号。最终将多尺度的掩膜融合起来得到最终的融合结果。

优异结果
 

由于需要对算法性能进行测试，研究人员首先在DUST数据集上进行了训练，并在ECSSD,PASCAL-S,DUT-OMRON,SOD,HKUIS,DUTS,ECSSD等六个数据集上进行了测评。测评的指标主要是描述平均精度和召回率的F值，描述预测结果准确性的MAE和描述结构信息的S值。

在与15种现有算法的比较后表明，本文提出的方法在各个数据集上都能获得优秀的检测结果。在比较中分别使用了restnet和vgg作为主干网抽取特征，其中箭头的上或下表示结果相较于之前取得大幅或小幅进展：

在消融性分析中研究人员还发现边缘信息对于显著性预测十分有效，同时将顶层语义信息传到底层可以得到更为精确的定位信息。边缘信息的融合也有助于最终显著性检测结果。互补信息可以同时提高分割和定位的效果。下表有效说明了各个模块带来的性能提升。

显著性边缘检测的效果也因为互补信息的辅助而得到了提升：

与多种先进的显著性检测模型相比，EGNet在各种指标和视觉效果上都有了明显的提升：