基于3D点云的多任务模型在板端实现高效部署

简介

对于自动驾驶应用来说，3D 场景感知至关重要。3D点云数据就是具有3D特征的数据。一方面，3D 点云可以直接用来获取障碍物的距离和大小，以及场景的语义信息。另一方面，3D 点云也可以与 2D 图像进行融合，以充分利用两者所提供的不同信息：图像的优势在于语义信息更加丰富，点云的优势在于距离和深度感知精确。随着深度学习架构的发展，出现了很多基于3D 点云感知模型，通过提取 3D 空间的点云特征，可以构建一种更精确、高维度、高分辨率的场景表示形式，助力下游预测与规控任务的发展。对于检测模型，相比图像感知模型，对于 3D 感知任务，基于3D 点云的感知模型通常拥有非常明显的精度优势。

同时，在自动驾驶系统中，可行驶区域分割是一项重要的任务。可行驶区域的提取是ADAS的关键技术，旨在使用传感器感知技术感知驾驶车辆周围的道路环境，识别并分割出当前驾驶场景下可行驶的区域，防止偏离车道或违规驾驶。

在部署过程中，相比图像模型，3D 点云的输入处理过程更复杂，量化难度高，导致难以部署。当前常见的对点云数据处理方式包括point-based、pillar-based、voxel-based等方式。考虑到部署的实时性需求，地平线选用了基于pillar-based的 Centerpoint，同时提出了基于3D点云的多任务模型，实现可行驶区域分割的感知功能。本文即对如何在地平线征程5芯片上高效部署基于3D点云的多任务模型进行介绍。

整体框架

本文介绍的多任务模型输入为3D点云，通过感知模型可同时输出 3D 目标检测结果和 2D 可行驶区域的分割结果。多任务模型网络结构可分为以下三个部分：

• 点云前处理。该部分是对3D点云做基于pillar-based的处理，将点划分到pillars中，形成伪图像。包括以下三个部分：

a. Pillar 化：将输入的原始点云转换为 pillar 特征；

b. PFNLayer：提取 pillar 特征，特征通道数提升至 64；

c. Scatter：完成 pillar 特征到伪图像化的转换；

• 特征提取和融合: 该层选用 MixVarGENet+UNET 结构，提取多层特征并加以融合，获得高层语义特征；

• 多任务输出头: 输出多类别的 3D 目标检测和二分类的可行驶区域分割结果。

部署优化

在部署优化之前，首先明确针对Centerpoint多任务模型的各部分的结构做性能和量化精度上分析，然后进一步给出优化方向和优化思路。

量化精度优化

在前面有提到，点云数据具有不均匀的特征，这种分布特点的数据使用PTQ量化方式很大可能会有量化精度问题，因此在 Centerpoint 多任务模型的量化过程中，我们使用 Calibration+QAT 的量化方式来保证点云模型的量化精度。需要提到的是地平线的calibration对于大部分模型就可以达到预期的量化精度，少量模型在较小的QAT训练代价下可以达到量化精度。由于 Centerpoint 多任务模型中所有算子的量化在征程5上是完全支持的，得到初版的量化精度是非常简单的。

QAT量化方式是根据数据的分布选取量化系数，将fp32的数据截断到int8范围，由于点云数据分布不均匀，其表现在部分数据（点云坐标）的数值范围较大，部分（点到中心的距离）数值范围较小，这种情况对量化是很不友好的，因此在量化训练中，会导致精度掉点；为了使数据分布处于均匀范围内，一般都会做归一化处理（归一化对浮点的精度也是有利的），因此，为了提升量化精度，我们增加了对点云特征的归一化处理。

 

Python
def _voxel_feature_encoder(self, features, norm_dims, norm_range，feature,num_points_in_voxel):
    # normolize features
    for idx, dim in enumerate(norm_dims):
        start = norm_range[idx]
        norm = norm_range[idx + len(norm_range) // 2] - norm_range[idx]
        features[:, :, dim] = features[:, :, dim] - start
        features[:, :, dim] = features[:, :, dim] / norm
    ...


    return features

 

在nuscenes数据集上的验证，经归一化处理后，量化精度损失在 1% 以内。

性能优化

点云前处理优化

前处理包括Voxelization操作和特征的扩维操作-VoxelAugment。我们将分析公版的实现在征程5上部署的困难点，然后基于困难点介绍优化方式以及地平线对点云前处理的部署优化。

Voxelization：体素化，是把三维空间中的点云数据转换到体素（voxel，即三维空间中的网格）。 Centerpoint中的 Pillars 可以看作是特殊( z 轴没有空间限制)的 voxel，为了与社区名称和代码实现名称相统一，我们下文统一称为 Voxelization、voxel。

Voxelization部署分析

假设用 (x, y, z, r, t) 表示点云数据中的一个点，其中(x, y, z) 坐标，r 为点云的反射强度，t为时间戳。

Centerpoint中的Pillar化（一种特殊的 Voxelization 操作，是把 z 轴看作一个整体，把三维空间离散化为 x-y 平面中均匀间隔的网格），在 Voxelization 过程中，需要依次、逐个对密集点云中的每个点进行判断，并将其划分入对应的 voxel 中，且每个 voxel 都需要存储点云中对应区域的信息。随着点云密度的增加，处理的体素数量也相应增多，导致需要更多的计算和内存资源，其计算复杂度可能导致较长的部署时间。

VoxelAugment部署分析

继voxelization 中把每个点云 point 划分到各个 pillar 中之后，公版 Centerpoint中对点云 point 做了特征增强，即前文提到的把基于 nuscenes 数据集的5 维点云 point 数据(x, y, z, r, t)根据点到中心的距离扩充到了 11 维(x, y, z, r, t, xc, yc, zc,xp, yp, zp,)。然而，这样的处理方式，无论是对量化精度还是部署性能方面，都存在一些不足：

• 量化精度方面：前文已提到，这里不再赘述；

• 部署性能方面:  在从 5 维扩充到 11 维时，对中心点距离的求解，增加了计算量和相应的耗时。而在我们的实验中发现，增加的后 6 维数据，实际对模型的浮点精度影响很小。

针对以上两个问题，下面介绍地平线的优化方法。

VoxelAugment优化

根据实验，原11维的方案会导致耗时增加，精度收益不大，因此在我们的改进方法中，点云 point 仅使用前5维(x, y, z, r, t)，见板端c++代码：

 

Python
void QATCenterpointPreProcessMethod::GenFeatureDim5(float scale) {
  for (int i = 0; i < voxel_num_; i++) {
    int idx = i * config_->kmax_num_point_pillar * config_->kdim;
    for (int j = 0; j < config_->kmax_num_point_pillar; ++j) {
      if (config_->pillar_point_num[i] >
          config_->kmax_num_point_pillar_vec[j]) {
        int index = idx + j * config_->kdim;
        voxel_data_[index + 0] =
            (voxel_data_[index + 0] - config_->kback_border) /
            config_->kx_range / scale;
        voxel_data_[index + 1] =
            (voxel_data_[index + 1] - config_->kright_border) /
            config_->ky_range / scale;
        voxel_data_[index + 2] =
            (voxel_data_[index + 2] - config_->kbottom_border) /
            config_->kz_range / scale;
        voxel_data_[index + 3] = (voxel_data_[index + 3] - config_->kr_lower) /
                                 config_->kr_range / scale;
        if (voxel_data_[index + 4] != 0) {
          voxel_data_[index + 4] = voxel_data_[index + 4] / scale;
        }
      }
    }
  }
}

 

在优化后，该部分耗时减少了 4ms，精度上影响较小。

除了以上的优化外，考虑硬件对齐特性，对特征的layout也做了优化，以便模型可以高效率运行。征程5计算运算的时候有最小的对齐单位，若不满足规则时会对Tensor自动进行padding，造成无效的算力浪费。例如conv的对齐大规则为2H16W8C/2H32W4C。基于硬件特征，采用H W维度转换的方式，将大数据放到W维度以减少算力的浪费，因此在生成pillars特征对其做归一化后使用permute将1x5x40000x20转换为1x5x20x40000。

 

Python
features = features.unsqueeze(0).permute(0, 3, 2, 1).contiguous()

 

Voxelization优化

对于点云的voxelization耗时问题，地平线提供了ARM和DSP部署方式。可以在OE包的AIBenchmerk中查看其具体实现。

DSP具有强大的并行计算能力，能够同时处理多个数据，且具有快速读写内存的特点，利用 DSP 可以有效加速 Voxelization 过程，提高实时性能。例如，在 nuscenes数据集（点云数据量为30万），经 DSP 优化后，前处理耗时由77ms 降低至20ms，性能提升3.8倍。具体数据可见实验结果章节。

优化后，点云处理部分流程图如下所示：

特征提取与融合PFNLayer

Centerpoint 的PFNLayer作用是将每个包含D维特征的点（由前文可知，公版Centerpoint中 D=11，地平线参考模型中D=5）用一个Linear+BatchNorm1d+ ReLU+max 的组合来进行特征提取，生成(C，P，N) 的张量。

而地平线征程5最早针对的是以CNN为基础的图像处理，在编译器内部4d-Tensor是最高效的支持方式。如果不是4d-Tensor的话，编译器内部会主动转成4d（某些维度为1）来做，会多了很多无效的计算。我们可以使用常规的4维算子替换原来任意维度的设置，避免不必要的冗余计算。常见的替换方式如下，中间配合任意维度的reshape，permute来完成等价替换。因此，我们将公版中的 Linear + BatchNorm1d + ReLU + max 分别做了如下替换：

N dims	4dims
nn.Linear	nn.Conv2d
nn.BacthNorm1d	nn.BacthNorm2d
torch.max	nn.MaxPool2d

伪图像化

PillarScatter 是实现伪图像转换的最后一个步骤，该部分将(1, 1, P, C) 的特征映射获得形如（C, H, W） 的伪图像。为了便于量化训练和上板推理优化，我们在 horizon_plugin_pytorch 和编译器中均实现了point_pillars_scatter 算子。该算子由编译器内部完成，用户不需要感知。

horizon_plugin_pytorch 中 point_pillars_scatter 算子的调用方式为：

 

Python
from horizon_plugin_pytorch.nn.functional import point_pillars_scatter


pseudo_image_feature = point_pillars_scatter(voxel_features, coords, out_shape)

 

backbone+neck

关于特征提取与融合部分，由于点云处理部分生成的伪图像特征输出通道数较大，原 Centerpoint 模型中的 SECOND 结构部署速度不够快，本文选用 MixVarGENet+UNET 结构，作为模型的 backbone 与 neck。

MixVarGENet 为地平线基于征程5硬件特性自研的backbone结构，特点是性能表现优异，可以达到双核5845FPS。该结构的基本单元为MixVarGEBlock。如下为MixVarGEBlock的结构图：

MixVarGENet高度秉承了“软硬结合”的设计理念，针对征程5的算力特性做了一些定制化设计，其设计思路可以总结为：

1. 小channel时使用normal conv，发挥征程5算力优势；

2. 大channel时引入group conv，缓解带宽压力；

3. Block内部扩大channel，提升网络算法性能；

4. 缩短feature复用时间间隔，减少SRAM到DDR访存。

充分考虑征程5的带宽和硬件属性，小neck+大backbone的组合比较经济，且可以提高BPU的利用率，能达到平衡精度与速度的最佳组合！

多任务输出头

Centerpoint多任务模型的输出头分为两部分，对于 3D 目标检测，选用 Centerpoint 模型的预测头，2D 可行驶区域的分割结果则选用了 FCN 结构做为输出头。

多任务模型的分割头为 FCNHead，其中部分卷积模块替换为深度可分离卷积，有利于部署性能的进一步提升。同理，多任务模型的检测头 CenterpointHead 也将部分卷积模块替换为深度可分离卷积。替换后，模型部署性能得到了进一步的提升，同时浮点精度不受影响。

由于公版 Centerpoint 模型的二阶段在 nuscenes 数据集上并无精度提升，因此这里只选用了一阶段的输出头。

实验结果

1. Centerpoint 多任务模型在征程5性能数据

数据集	Nuscenes
点云量	30W（5dim）（注1）
点云范围	[-51.2, -51.2, -5.0, 51.2, 51.2, 3.0]
Voxel size	[0.2, 0.2, 8]
最大点数	20
最大pillars数	40000
FPS	106.14
前处理时长(arm/arm+dsp)	77ms/20ms
latency	23.79ms
量化精度	浮点：NDS: 0.5809, mAP: 0.4727， miou：91.29 定点：NDS: 0.5762, mAP: 0.4653， miou：91.22
检测类别	10类（注2）
分割类别	二分类（注2）

注

1：维度为(x,y,z,r,t)，即：3维坐标、强度和时间

2：检测任务：["car","truck","construction_vehicle","bus","trailer","barrier","motorcycle","bicycle","pedestrian","traffic_cone"]

分割任务：["others", "driveable_surface"]

2. 基于3D点云的多任务模型高效部署通用建议

• 对输入数据做归一化，更有利于量化。

• 如在部署中使用PTQ无法解决量化精度问题，考虑使用QAT做量化部署。

• 对于点云数据，pillars_num较大，将大数据放到W维度提升计算效率。

• 建议选择小neck+大backbone的组合，减小带宽压力，达到性能提升。

• 使用地平线提供的点云前处理，若前处理存在性能瓶颈，尝试DSP方案。

总结

本文通过对基于3D点云的多任务模型在地平线征程5上量化部署的优化，使得模型以低于1%的量化精度损失，得到 latency 为 23.79ms 的部署性能。在点云处理方面，通过针对性的优化方法，灵活支持了不同点云输入并大幅提高点云处理的速度；在特征提取方面，选用了征程5高效结构 MixVarGENet+UNET；在输出设置上，采用多任务输出设计，能够同时得到 3D 目标检测结果和可行驶区域的分割结果。

审核编辑：刘清