基于层级图网络的图卷积，用点云完成3D目标检测

论文：A Hierarchical Graph Network for 3D Object Detection on Point Clouds

由于大多数现有的点云对象检测方法不能充分适应点云的特征（例如稀疏性），所以一些关键的语义信息（如物体形状）不能被很好的捕捉到。本文提出了一种基于层级图网络（HGNet）的图卷积（GConv），可以直接将点云作为输入来预测 3D 的边界框。形状注意图卷积（SA－GConv）可以通过剑魔点的位置星系来描述物体形状，基于 SA－GConv 的 U 形网络可以通过改进的 voting 模块获取多层级的特征进而生成候选，然后一个基于图卷积的候选推理模块考虑全局的场景语义来对边界框进行预测。该框架在两个大规模点云数据上的表现超过了目前最先进的模型。

论文背景

由于点云的稀疏性，一些已有的为网格形式数据设计的方法（如CNN）在点云上的表现并不好，为解决这一问题，最近有一些对点云数据的方法被提出，例如基于投影的方法、基于体卷积的方法和基于 PointNet 的方法。前两种试图将点云数据严格转换为网格结构数据，而后一种则在不明确考虑点的几何位置的情况下聚合特征。

与其他方法相比，PointNet＋＋ 可以保留点的稀疏特点，因此被广泛作为框架的骨架。当目前仍有一些未能很好解决的挑战，首先由于没有考虑点的相对几何位置，因此使用 PointNet＋＋ 作为主干忽略了一些局部形状信息。其次，框架的结构没有充分利用多级语义，这可能会忽略一些有助于目标检测的信息。

本文提出了一个基于图卷积（GCONV）的层级图网络（HGNet）用于基于点云的 3D 目标检测。HGNet 包含三部分：一个基于图卷积的 U 形网络（GUnet）、一个候选生成器以及一个候选推理模块（ProRe Module）。基于层级图网络（HGNet）的图卷积

整个 HGNet 以端到端的方式进行培训。在本文的框架中，点云的局部形状信息、多级语义和全局场景信息（候选的特征）已被层级图模型充分捕获、聚合和合并，充分考虑了点云数据的特征。

本文的主要贡献如下：

（A）开发了一种新的层级图网络（HGNet），用于在点云上进行 3D 对象检测，其表现好于已有方法。

（B）提出了一种新颖的 SA－（De）GConv，它可以有效地聚合特征并捕获点云中对象的形状信息。

（C）构建了一个新的 GU－net，用于生成多级特征，这对于 3D 对象检测至关重要。

（D）利用全局信息，ProRe 模块通过对候选进行推理来提高效果。

论文模型

 

融合采样

3D 目标检测有基于点和基于体素两种框架，前者更加耗时，由候选生成与预测细化两个阶段组成。

在第一个阶段，SA 用于降采样以获得更高的效率以及扩大感受野，FP 用来为降采样过程中丢掉的点传播特征。在第二阶段，一个优化模块最优化 RPN 的结果以获得更准确的预测。SA 对于提取点的特征是必需的。但 FP 和优化模块会限制效率。

形状注意图卷积

点云通常不能清楚地表示出物体的形状，可以使用其相邻点的相对几何位置来描述点周围的局部形状。本文介绍了一种新颖的形状注意图卷积，它通过对点的几何位置建模来捕获对象形状。

对于一个点集 X，其中每一个点由其集合位置 p＿i 以及 D 维的特征 f＿i 组成，我们想要生成一个 X’，本文设计了图卷积用于聚合从 X 到 X’ 的特征。与 PointNet＋＋的采样层相类似，本文首先从 n 个点中采样 n’ 个点，通常 K 最近邻（KNN）被用来在采样中保留局部信息将其作为中心点特征。

 

其中 g 表示 i 和 j 的相对位置，通过一个卷积将三维变为一维，f 是 mlp，然后二者的乘积就是中心点的 knn，其中最大的作为 i 的特征。形状注意操作不同于简单的基于 mlp 的操作主要就是因为这个 g 函数。虽然形式上没有 attention 中的 softmax 这样的归一化，但是 g 的输出就和 attention一样，每个点的 weights，然后对应的乘以特征。

审核编辑：符乾江