如何搞定自动驾驶3D目标检测！

0. 写在前面

3D目标检测是自动驾驶非常重要的一个基础任务，其重要性不言而喻。今天笔者为大家推荐一篇3D目标检测方向的最新综述。

作者：Xinzhu Ma, Wanli Ouyang, Andrea Simonelli, Elisa Ricci

2. 摘要

图像中的3D目标检测是自动驾驶中的基础且具有挑战性的问题之一，近年来受到了工业界和学术界越来越多的关注。得益于深度学习技术的快速发展，基于图像的三维检测取得了令人瞩目的进展。特别地，从2015年到2021年，已经有超过200项工作研究了该问题，涵盖了广泛的理论、算法和应用。然而，到目前为止，还没有最近的调查来收集和整理这些知识。在本文中，我们填补了文献中的这一空白，并首次对这一新颖且不断增长的研究领域进行了全面调查，总结了基于图像的3D检测最常用的pipeline，并对其每个组成部分进行了深入分析。此外，我们还提出了两个新的分类法，将最先进的方法组织成不同的类别，目的是对现有方法进行更系统的审查，并与未来的工作进行公平的比较。在回顾迄今为止所取得的成果的同时，我们还分析了该领域目前面临的挑战，并讨论了基于图像的3D检测研究的未来方向。

3. 数据集总结

可用于自动驾驶场景下基于图像的3D目标检测的数据集总结。其中一些数据集包括多个任务，这里只报告了3D检测基准（例如KITTI 3D发布了超过40K的图像,其中约15K用于3D检测）。

4. 分类法

为了便于对现有方法进行系统分析，并在未来的工作中进行公平的性能比较，作者提出了两种新的分类法，即根据所采用的框架和使用的输入数据对现有方法进行分类。

基于图像的3D目标检测pipeline的概述。分别展示了使用蓝色、绿色和红色箭头的数据提升、特征提升和结果提升方法的数据流。

对最相关的基于图像的3D检测方法和基准进行了时间上的列举。

在顶会顶刊上发布的基于图像的3D探测器对辅助数据和结果的要求。在Car类别的KITTI测试集上报告了用于3D / BEV检测的AP | R40。根据所使用的辅助数据对方法进行分组，每组中的方法在适中的设置下通过3D AP | R40进行排序。还展示了这些方法是否使用了预训练权重(排除ImageNet预训练)。

5. 未来发展

作者认为，未来3D目标检测主要有两个挑战：

（1）从2D图像中感知3D世界是一个不适定问题；

（2）标注3D数据是极其昂贵的，并且现有数据集的规模仍然有限。

对于第一个问题，可以探索更好的深度估计方法，也可以利用多模态和时间序列。对于第二个问题，应该考虑完监督学习之外的方法。此外，也可以考虑从大规模预训练模型中进行迁移学习。最后，考虑到3D目标检测的应用场景，还应该考虑模型的泛化能力。

6. 总结

这篇文章对基于图像的自动驾驶3D检测的最新进展进行了全面的综述。作者首先对现有的方法进行了分类。然后对这些算法进行了详细的比较，讨论了3D检测的每个必要组成部分，如特征提取、损失建模、后处理等。还讨论了辅助数据在该领域的应用，以及开放性挑战和潜在方向。

审核编辑：黄飞