0. 笔者个人体会
最近3D GS已经彻底杀入了SLAM领域,光这一个月看见了好几篇GS SLAM的工作。例如上海AI Lab的GS-SLAM、帝国理工戴森机器人实验室的Gaussian Splatting SLAM、CMU的SplaTAM。
今天笔者将为大家再分享一篇GS SLAM的最新开源工作Gaussian-SLAM,同样实现了照片级渲染的实时SLAM。不过大家都说自己是第一个GS SLAM,但具体哪个SLAM更强,读者可以运行代码对比一下~
下面一起来阅读一下这项工作,文末附论文和代码链接~
1. 效果展示
Gaussian-SLAM的渲染结果对比,Gaussian Splatting本身非常快,所以可以只看一下渲染精度。对比其他NeRF SLAM精度有明显提升,但是没有对比其他GS SLAM。
更多渲染结果的对比,但还是挺想看看和Gaussian Splatting SLAM等工作的对比效果的。
2. 具体原理是什么?
Gaussian-SLAM提出了用于seeding和优化Gaussian splats的新策略,以将其从多视图离线场景扩展到RGBD序列。还扩展了Gaussian splats来编码几何图形并尝试跟踪场景表示。这里也推荐工坊推出的新课程《彻底剖析室内、室外激光SLAM关键算法和实战(cartographer+LOAM+LIO-SAM)》。
当输入RGBD关键帧时,考虑到颜色梯度,首先对其进行下采样。然后将采样点投影到3D空间,在这些采样位置上用它们的均值初始化新的高斯。这些新的3D高斯被添加到稀疏区域的全局地图的当前活动段中。输入的RGBD关键帧与其他对活动子图有贡献的关键帧一起临时存储。一旦新的高斯被整合到活动子图中,所有对活动子图有贡献的关键帧都被渲染出来。随后,对子图输入的关键帧计算深度和颜色损失。接着更新活动子图中3D高斯的参数。这个过程重复固定的迭代次数。
3. 和其他SOTA方法对比如何?
ScanNet数据集上的渲染效果对比,相比NeRF SLAM有了明显提升,但同时是没有对比其他GS SLAM。
对更多实验结果和文章细节感兴趣的读者,可以阅读一下论文原文~
全部0条评论
快来发表一下你的评论吧 !