标注神器！AAAI'24最新：第一个交互式3D目标检测器！

1. 写在前面

在LiDAR场景中标注3D目标非常繁琐，今天笔者为大家推荐一篇加速3D标注的最新工作iDet3D。这个交互式的标注算法支持2D界面，可以以最少的交互来标注每个场景中的整个目标。

下面一起来阅读一下这项工作~

2. 摘要

对LiDAR场景中的多个三维物体进行精确标注是一项费力且具有挑战性的工作。尽管先前的一些研究试图利用半自动方法来进行具有成本效益的边界框标注，但这些方法在有效地处理大量多类对象方面具有局限性。为了有效加速3D标注流水线，我们提出了一种高效的交互式3D目标检测器iDet3D。iDet3D支持用户友好的2D界面，可以减轻探索3D空间提供点击交互的认知负担，使用户能够以最少的交互来标注每个场景中的整个物体。考虑到三维点云的稀疏性，我们设计了负点击模拟( negative click simulation，NCS )，通过减少假阳性预测来提高精度。此外，iDet3D结合了两种点击传播技术，以充分利用用户交互：( 1 )密集点击引导( DCG )，用于在整个网络中保存用户提供的信息；( 2 )空间点击传播( SCP )，用于根据用户指定的对象检测同一类的其他实例。通过我们的大量实验，我们发现我们的方法可以在少量的点击中构建精确的注释，这表明了我们的方法作为三维物体检测的有效注释工具的实用性。

3. 效果展示

iDet3D中点击编码的可视化示例：(a) 输入点云和用户点击(红色箭头)。(b) 在目标对象上突出显示相应的基于距离编码的用户交互。

看一下具体标注过程：( a ) 给定输入点云。( b ) 提供对行人的正向点击(红色圆圈)，iDet3D在一次点击中检测到场景中多个不同类别的物体。( c )在第2次迭代中，通过增加一个负点击(蓝色圆圈)，可以一次性过滤掉假阳性预测。( d )真值。在几次迭代内，就可以获得高质量的标注结果。

4. 具体原理是什么？

考虑到3D点云的稀疏性质，iDet3D设计了负点击模拟 (NCS)，通过减少误报预测来提高准确性。还结合了两种点击传播技术来充分利用用户交互：(1) 密集点击引导 (DCG)，用于在整个网络中保留用户提供的信息；(2) 空间点击传播 (SCP)，用于检测其他实例。

iDet3D的训练流程。给定用户对目标对象的点击，将点击转化为点击编码。( a )密集点击引导( DCG )在输入端和中间层将编码融合到骨干网架构中。( b )负点击模拟( Negative Click Simulation，NCS )通过选择具有高前景分数的具有挑战性的背景点来随机模拟可能的负点。( c )后续的空间点击传播( Spatial Click Propagation，SCP )模块根据特征嵌入之间的相似性，有效地传播用户点击来检测同一类的其他对象。

利用空间点击传播( SCP )模块生成关联图的实例：( a )点击关于N个输入点的汽车对象(红色箭头)上的编码E。( b )对N′个降采样点(经过降采样层从N点降至N′点)点击编码E′。( c )由SCP生成的点击相关图M和( d )与真实3D边界框覆盖的可视化。注意，与点击同一类的点在输出的相关图中被突出显示。

5. 和其他SOTA方法对比如何？

baseline和iDet3D在KITTI val集上的定量结果。

nuScenes数据集的基线和iDet3D ( IA-SSD Backbone)的定量结果。

6. 总结

这篇文章提出了第一个交互式3D目标检测器iDet3D，能够在几次点击中检测出大量的多类物体。iDet3D设计了NCS来过滤通过负点击产生的假阳性预测，以及两个点击传播模块( DCG和SCP)来为用户提供指导。但是在这项工作中，iDet3D仅对单帧图像进行分析，忽略了连续帧之间的互补信息。未来作者将考虑处理多个连续帧之间需要对齐的点嵌入，进一步改进iDet3D。