400万+工程师在用

华为|鸿蒙开发者日

直播报名

400万+工程师在用

华为|鸿蒙开发者日

直播报名

CentripetalNet:更合理的角点匹配,多方面改进CornerNet

深度学习实战

3人已加入

描述

CentripetalNet的核心在于新的角点匹配方式,额外学习一个向心偏移值,偏移值足够小的角点即为匹配,相对于embedding向量的匹配方式,这种方法更为鲁棒,解释性更好。另外论文提出的十字星变形卷积也很好地贴合角点目标检测的场景,增强角点特征

 

论文: CentripetalNet: Pursuing High-quality Keypoint Pairs for Object Detection

fac3c19e-778b-11eb-8b86-12bb97331649.png

论文地址:https://arxiv.org/abs/2003.09119

论文代码:https://github.com/KiveeDong/CentripetalNet

Introduction

fb28d7a0-778b-11eb-8b86-12bb97331649.png

CornerNet打开了目标检测的新方式,通过检测角点进行目标的定位,在角点的匹配上,增加了额外embedding向量,向量距离较小的角点即为匹配。而论文认为,这种方法不仅难以训练,而且仅通过物体表面进行预测,缺乏目标的位置信息。对于相似物体,embedding向量很难进行特定的表达,如图1所示,相似的物体会造成错框现象。

   为此,论文提出了CentripetalNet,核心在于提出了新的角点匹配方式,额外学习一个向心偏移值,偏移值足够小的角点即为匹配。相对于embedding向量,这种方法更为鲁棒,解释性更好。另外,论文还提出十字星变形卷积,针对角点预测的场景,在特征提取时能够准确地采样关键位置的特征。最后还增加了实例分割分支,能够将网络拓展到实例分割任务中。

CentripetalNet

fb8a535e-778b-11eb-8b86-12bb97331649.png

如图2所示,CentripetalNet包含四个模块,分别为:

角点预测模块(Corner Prediction Module):用于产生候选角点,这部分跟CornerNet一样。

向心偏移模块(Centripetal Shift Module):预测角点的向心偏移,并根据偏移结果将相近的角点成组。

十字星变形卷积(Cross-star Deformable Convolution):针对角点场景的变形卷积,能够高效地增强角点位置的特征。

实例分割分支(Instance Mask Head):类似MaskRCNN增加实例分割分支,能够提升目标检测的性能以及增加实例分割能力。

Centripetal Shift Module

Centripetal Shift

fbc5b728-778b-11eb-8b86-12bb97331649.png

对于,几何中心为,定义左上角点和右下角点的向心偏移为:

fc3b0d52-778b-11eb-8b86-12bb97331649.png

函数用来减少向心偏移的数值范围,让训练更容易。在训练时,由于非GT角点需要结合角点偏移计算向心偏移,比较复杂,如图a所示,所以仅对GT角点使用smooth L1损失进行向心偏移训练:

fc78eee2-778b-11eb-8b86-12bb97331649.png

Corner Matching

fcc48104-778b-11eb-8b86-12bb97331649.png

属于同一组的角点应该有足够近的中心点,所以在得到向心偏移和角点偏移后,可根据角点对应的中心点判断两个角点是否对应。首先将满足几何关系的角点组合成预测框,每个预测框的置信度为角点置信度的均值。接着,如图c所示,定义每个预测框的中心区域:

fd0c3c2e-778b-11eb-8b86-12bb97331649.png

的角点计算为:

fd42c424-778b-11eb-8b86-12bb97331649.png

为中心区域对应预测框边长的比例,根据向心偏移计算出左上角点的中心点和右下角点的中心点,计算满足中心区域关系的预测框的权值:

fd924dd2-778b-11eb-8b86-12bb97331649.png

从公式5可以看出,角点对应的中心点的距离越近,预测框的权值越高,对于不满足中心点几何关系的预测框,权值直接设为0,最后,使用权值对置信度进行加权输出。

Cross-star Deformable Convolution

fdbce344-778b-11eb-8b86-12bb97331649.png

为了让角点感知目标的位置信息,coner pooling使用max和sum来进行目标信息的水平和垂直传递,导致输出的特征图存在十字星现象,如图4a所示,十字星的边界包含了丰富的上下文信息。为了进一步提取十字星边界的特征,不仅需要更大的感受域,还需要适应其特殊的几何结构,所以论文提出了十字星变形卷积。

ff1b7ac0-778b-11eb-8b86-12bb97331649.png

但并不是所有的边界特征都是有用的,对于左上角点而言,由于十字星的左上部边界特征在目标的外部,所以其对左上角点是相对无用的,所以论文使用偏移引导(guiding shift)来显示引导偏移值(offset field)的学习,偏移引导如图b所示。偏移值共通过三个卷积层获得,前两个卷积层转化corner pooling的输出,通过下面的损失函数有监督学习:

ff5c6dfa-778b-11eb-8b86-12bb97331649.png

为偏移引导,定义为:

ffd71c30-778b-11eb-8b86-12bb97331649.png

第三层卷积将特征映射为最终偏移值,内涵了目标的上下文信息和几何信息。

0024a00e-778c-11eb-8b86-12bb97331649.png

论文对不同的采样方法进行了可视化,可以看到论文提出的十字星变形卷积的效果符合预期,左上角点对应的采样点均为十字星的右下部边界。

Instance Mask Head

为了获取实例分割的结果,论文取soft-NMS前的检测结果作为候选框,使用全卷积网络进行mask预测。为了保证检测模块能够提供有效的候选框,先对CentripetalNet预训练几轮,然后取top-k候选框进行RoIAlign得到特征,使用连续四个卷积层提取特征,最后使用反卷积层进行上采样,训练时对每个候选框进行交叉熵损失:

00a9ac86-778c-11eb-8b86-12bb97331649.png

Experiment

完整的损失函数为:

00eb78f0-778c-11eb-8b86-12bb97331649.png

和跟CornerNet定义的一样,为预测框损失和角点偏移损失,设置为0.005。

01228b6a-778c-11eb-8b86-12bb97331649.png

目标检测性能对比。

01bc6c76-778c-11eb-8b86-12bb97331649.png

实例分割性能对比。

01ec50bc-778c-11eb-8b86-12bb97331649.png

CornerNet/CenterNet/CentripetalNet可视化对比。

Conclusion

CentripetalNet的核心在于新的角点匹配方式,额外学习一个向心偏移值,偏移值足够小的角点即为匹配,相对于embedding向量的匹配方式,这种方法更为鲁棒,解释性更好。另外论文提出的十字星变形卷积也很好地贴合角点目标检测的场景,增强角点特征。

责任编辑:lq

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容图片侵权或者其他问题,请联系本站作侵删。 侵权投诉

电子发烧友网

收听电子行业动态,抢先知晓半导体行业

全部0条评论

快来发表一下你的评论吧 !

打开APP