基于相机和激光雷达的视觉里程计和建图系统

作者机构：华中科技大学人工智能研究所

本文介绍了SDV-LOAM，一种融合相机和 LiDAR 信息的系统，用于实现准确、强大的姿态估计和建图。现有方法使用特征或直接方法作为视觉模块，无法很好地处理视觉模块中稀疏特征建立造成的误差。作者的动机是结合两种方法的优势来实现准确的姿态估计。本文提出的研究方法SDV-LOAM 包括，半直接视觉里程计模块和自适应扫描LiDAR里程计模块，提出一种新型的点特征提取和匹配方法来传播点和减少帧间的尺度差异。SDV-LOAM在KITTI训练集上的性能排名第八，比现有大多数的LiDAR和视觉-LiDAR系统都要好，可以在大型环境中实现高精度和输出频率。

1 背景

本文介绍了一种基于相机和激光雷达的视觉里程计和建图系统。传统的基于特征、直接和半直接方法的视觉里程计/SLAM系统，以及各种基于LiDAR的里程计方法无法很好地处理视觉模块中稀疏特征建立造成的误差。视觉里程计具有很高的姿势估计输出频率，但是在图像数据中存在大量噪声的情况下，其精度可能会显著降低，并且获得的地图通常很稀疏。激光雷达里程计依靠激光雷达点中包含的几何信息进行跟踪，并不断更新具有丰富几何结构的点云地图。本文提出一种适用于大规模环境的视觉-LiDAR里程计和建图系统，能够综合利用两个传感器的信息，实现高效、高精度的姿态估计与实时建图。系统架构如下图所示

SDV-LOAM包括两个主要模块：半直接深度增强视觉里程计和LiDAR里程计。视觉模块和LiDAR模块由扫描重建块组合，将 LiDAR 点云的输入频率提高到与相机图像相同的频率。与现有方法相比，黄色块突出了我们的主要贡献。需要说明的是，60 Hz 视觉姿态和60 Hz 重建是假设无限计算资源的理想频率。为了描述方便，我们在这里使用 60 Hz 视觉姿态和重建云。事实上，视觉和 LiDAR 模块都可以在 20 Hz 左右运行。

2 方法

2.1 半直接视觉里程计

半直接视觉里程计模块直接提取高梯度像素，3D LiDAR点投射到这些像素上进行跟踪。该模块使用一种新颖的点匹配与传播方法，将主机帧的点传播到更接近当前帧的中间关键帧，以减少比例差异。半直接视觉里程测量模块由三个主要步骤组成：特征提取、特征匹配和姿势估计。在特征提取步骤中，该模块从当前图像帧和中间关键帧中提取高渐变像素。在特征匹配步骤中，该模块使用一种新的点匹配与传播方法在当前帧和中间关键帧之间匹配提取的特征。具体来说，该方法解决在点匹配中出现的深度匹配问题的方法。该方法首先在当前帧中直接找到特征点的对应物，然后通过将它们投影到中间帧上，找到中间帧上与它们对应的特征点，在最终的目标帧中再用中间帧上找到的对应点与之匹配。该方法对于跨越时间较长的帧间点匹配能够有效降低尺度差异所带来的匹配误差。在姿势估计步骤中，模块使用匹配的特征估计当前帧和中间关键帧之间的相对姿势。该模块还使用了强大的鲁棒核函数来拒绝特征匹配步骤中的异常值。

2.2 自适应扫描映射 LiDAR 里程计模块

LiDAR 模块中的自适应扫描映射方法根据垂直方向上几何约束的丰富度，自动选择优化 3 个水平自由度或 6 个全自由度姿势。该方法使用了一种新颖的扫描重建方法，可以将LiDAR点云的输入频率提高到与相机图像相同的频率，进而在理论上产生LiDAR里程计的高频输出。该方法减少了垂直方向的姿态估计漂移，提高了多个现有开源 LiDAR 里程计系统的性能。

扫描重建算法示意图。10Hz输入原始点云Sj、Sj+1、Sj+2叠加重构得到60Hz重构点云Si+7、Si+8、···、Si+17

3 实验

本文的实验部分评估了SDV-LOAM在KITTI里程计基准测试和使用定制硬件平台的大规模环境中的性能。结果显示，SDV-LOAM在KITTI里程计基准测试中排名第8位，表现优于大多数激光雷达/视觉激光雷达里程测量系统。SDV-LOAM 的视觉模块的性能也优于最先进的视觉里程测量系统。LiDAR 模块中的自适应扫描到地图优化方法提高了多个现有开源 LiDAR 里程计系统的性能。演示了SDV-LOAM在使用定制硬件平台的大规模环境中的有效性。

表 5 中的结果表明，提出的视觉模块在所有序列上都优于 DEMO，在 KITTI 上的大多数序列上优于DVL-SLAM，其中我们方法的 RTE 比 DEMO 低 37.9%，比 LIMO 低 15.3%，比 DVL-SLAM 等人低 23.4%，在序列 00-10 的平均结果上比 DVL-SLAM 低 26.5%，在序列 11-21 的平均结果上比 DEMO 低 22.8%，比 LIMO 低 5.4%。对于序列03、04、07，我们系统的准确率低于Huang等人，因为这三个序列中有丰富的线特征，而Huang等人的准确率有所提高。在英特尔酷睿 i7-11700 CPU 上，我们的 VO 运行时间为 0.06 秒/帧。相比之下，LIMO 需要语义标签信息来识别移动物体并拒绝异常值，因此需要 GPU 进行加速。同时，LIMO 和DVL-SLAM都不能实时运行。我们的方法可以在仅 CPU 的平台上实时有效地运行。我们的视觉里程计在序列1121上的测试结果也发布在官网，名称缩写为“SD-DEVO”。值得一提的是，DEMO是V-LOAM中使用的视觉模块。因此，与 DEMO 的比较结果也可以证明我们的 VO 优于 VLOAM。

欢迎关注微信公众号「3D视觉工坊」，加群/文章投稿/课程主讲，请加微信：dddvisiona，添加时请备注：加群/投稿/主讲申请

扫描重建实验。(a)-(d) 是没有扫描重建的结果，而 (e)-(h) 是有扫描重建的结果。轨迹上点的分辨率反映了我们的 LiDAR 里程计输出姿势的频率。(a)-(d) 和 (e)-(h) 之间的比较表明我们的扫描重建块可以有效地提高 LiDAR 位姿估计的频率。

4 总结

a. 工作的意义：提出一种新型的视觉-LiDAR里程计和建图系统SDV-LOAM，能够综合利用相机和激光雷达的信息，实现高效、高精度的姿态估计和实时建图，且性能优于现有的相机和激光雷达系统。b. 创新、性能 该系统采用半直接视觉模块、自适应扫描映射LiDAR模块和新型点提取和匹配方法，解决了视觉-LiDAR集成中稀疏特征建立导致的问题，自适应优化姿态估计、增加LiDAR原始点云输入频率，并且在KITTI数据集和自行搭建的硬件平台上实现了良好的性能。c. 研究结论 SDV-LOAM 可以综合利用相机和激光雷达的信息，实现姿态估计和实时地图构建 系统算法性能在KITTI数据集上优于其他系统。该系统的算法性能和实践证明了其在实际场景中的准确性和鲁棒性。SDV-LOAM 可以进一步开发，例如将LiDAR深度作为视觉 BA 的软约束来使用。

编辑：黄飞