作者:Ching (Chingis)编译:ronghuaiyang来源:AI公园
导读
对目标检测后处理中的NMS和WBF的解释和对比。目前,计算机视觉在许多地方都有重要的应用,例如自动驾驶汽车、监控系统和图像识别。计算机视觉的主要挑战之一是目标检测,它涉及识别和定位图像和视频中的目标。为了提高目标检测系统的性能,研究人员和从业者开发了各种技术,例如模型集成和测试时增强(TTA)。
模型集成是组合多个模型的预测以提高系统整体性能的过程。这可以通过对多个模型的预测求平均值,或使用更复杂的方法(如加权框融合 (WBF))来组合预测来完成。集成方法可以通过减少过拟合的影响并提高系统的鲁棒性来显著提高目标检测系统的性能。
测试时增强 (TTA) 是另一种用于提高目标检测系统性能的技术。它在测试期间将各种数据增强技术(例如旋转、缩放和翻转)应用于输入图像。这可以通过使系统对输入数据的微小变化更加不变来帮助提高系统的鲁棒性。TTA还可以通过提供额外的数据供检测器学习来帮助提高系统的性能。
在本文中,我们将探索和比较非最大抑制 (NMS) 和加权框融合 (WBF) 以提高目标检测系统的性能。
非最大值抑制
非极大值抑制 (NMS) 是一种后处理技术,用于去除目标检测器生成的重叠框。它常用于计算机视觉中的目标检测任务,例如人脸检测、目标跟踪以及图像和视频中的目标检测。
NMS 背后的基本思想是选择置信度得分最高的框,然后删除与其显著重叠的其他框。重复此过程,直到考虑了所有框。这有助于减少目标检测中的误报数量,因为目标检测器通常会生成对同一目标的多次检测。
计算两个边界框之间重叠的最常见方法是使用交并比 (IoU) 指标。
IoU(A,B) = (A ∩ B) / (A ∪ B)
其中 A 和 B 是边界框的面积,A ∩ B 是它们相交的面积。通常,为 IoU 度量设置一个阈值,任何 IoU 大于该阈值的边界框都被认为是重复检测并被删除。
加权框融合
加权框融合(WBF)是一种提高目标检测系统性能的强大技术。它是一种将多个边界框或感兴趣区域 (ROI) 的结果组合成一个更准确、更稳定的结果的方法。当使用多个模型或算法来检测图像或视频中的目标并且需要组合结果以提高整体性能时,该技术特别有用。
从本质上讲,WBF 是一种通过根据各种标准为每个边界框分配权重来组合多个目标检测器结果的方法。然后使用这些权重将边界框组合成一个更稳健的结果。
WBF算法的工作步骤如下:
WBF 可以成为提高目标检测系统性能的强大工具,并且越来越多地被广泛应用于自动驾驶汽车、监控系统和计算机视觉的许多其他领域。通过集成WBF技术,目标检测系统可以变得更加鲁棒和准确,并且即使在存在噪声和遮挡的情况下也可以表现得更好。
NMS vs WBF加权框融合(WBF)和非极大值抑制(NMS)都是用于提高目标检测系统性能的技术。然而,它们的使用方式不同,并且具有不同的权衡。NMS 是一种后处理技术,用于删除目标检测器生成的重叠边界框。它的工作原理是选择置信度得分最高的边界框,然后删除与其显着重叠的任何其他边界框。重复此过程,直到考虑了所有边界框。NMS 是一种简单、快速且有效的方法,可减少目标检测中的误报数量。
另一方面,WBF 是一种用于组合多个边界框(或感兴趣区域)的技术,以产生更准确和稳定的结果。它通常用于使用多个模型或算法来检测图像或视频中的对象,并且需要组合结果以提高整体性能的情况。WBF 的工作原理是根据检测置信度、与其他边界框的重叠或其他标准等因素为每个边界框分配权重。然后使用这些权重将边界框组合成一个更稳健的结果。
实验评估2个不同模型的集成表 1 显示了两个模型的 MS COCO 验证集的结果。使用四种不同的技术组合预测:NMS、Soft NMS、NMW 和 WBF。我们看到,在不同的设置下,WBF 方法明显优于其他方法,带来了更大的改进。测试时增强集成
在上表中我们看到作者还提供了通过 TTA 组合预测的实验。他们使用在 COCO 数据集上训练的 EfficientNetB7 模型。对于 TTA,他们只采用水平翻转。同样,我们看到 WBF 的性能明显优于 NMS、Soft-NMS 和 NMW 等其他方法。
最后使用加权框融合 (WBF) 的动机是通过将多个边界框或感兴趣区域 (ROI) 的结果组合成一个更准确和稳定的结果来提高目标检测系统的性能。这在使用多个模型或算法来检测图像或视频中的目标并且需要组合结果以提高整体性能的情况下特别有用。使用 WBF 有益的原因有以下几个:
灵活性:WBF可以与非极大值抑制(NMS)等其他技术结合使用,以进一步提高目标检测系统的性能。
全部0条评论
快来发表一下你的评论吧 !