NeRF何去何从?GS SLAM到底哪家强?来看看最新的开源方案!

描述

0. 笔者个人体会

最近3D GS已经彻底杀入了SLAM领域,光这一个月看见了好几篇GS SLAM的工作。例如上海AI Lab的GS-SLAM、帝国理工戴森机器人实验室的Gaussian Splatting SLAM、CMU的SplaTAM。

今天笔者将为大家再分享一篇GS SLAM的最新开源工作Gaussian-SLAM,同样实现了照片级渲染的实时SLAM。不过大家都说自己是第一个GS SLAM,但具体哪个SLAM更强,读者可以运行代码对比一下~

下面一起来阅读一下这项工作,文末附论文和代码链接~

1. 效果展示

Gaussian-SLAM的渲染结果对比,Gaussian Splatting本身非常快,所以可以只看一下渲染精度。对比其他NeRF SLAM精度有明显提升,但是没有对比其他GS SLAM。

3D

更多渲染结果的对比,但还是挺想看看和Gaussian Splatting SLAM等工作的对比效果的。

3D

2. 具体原理是什么?

Gaussian-SLAM提出了用于seeding和优化Gaussian splats的新策略,以将其从多视图离线场景扩展到RGBD序列。还扩展了Gaussian splats来编码几何图形并尝试跟踪场景表示。这里也推荐工坊推出的新课程《彻底剖析室内、室外激光SLAM关键算法和实战(cartographer+LOAM+LIO-SAM)》。

当输入RGBD关键帧时,考虑到颜色梯度,首先对其进行下采样。然后将采样点投影到3D空间,在这些采样位置上用它们的均值初始化新的高斯。这些新的3D高斯被添加到稀疏区域的全局地图的当前活动段中。输入的RGBD关键帧与其他对活动子图有贡献的关键帧一起临时存储。一旦新的高斯被整合到活动子图中,所有对活动子图有贡献的关键帧都被渲染出来。随后,对子图输入的关键帧计算深度和颜色损失。接着更新活动子图中3D高斯的参数。这个过程重复固定的迭代次数。

3D

3. 和其他SOTA方法对比如何?

ScanNet数据集上的渲染效果对比,相比NeRF SLAM有了明显提升,但同时是没有对比其他GS SLAM。

3D

对更多实验结果和文章细节感兴趣的读者,可以阅读一下论文原文~

 

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分