动态自动驾驶数据量身定制的NeRF：NeuRAD

1. 写在前面

今天笔者为大家分享一篇针对动态自动驾驶数据量身定制的NeRF：NeuRAD。具有简单的网络设计，并且针对相机和激光雷达的广泛传感器建模。

下面一起来阅读一下这项工作~

2. 摘要

神经辐射场( NeRFs )在自动驾驶( AD )社区中得到了广泛的应用。最近的方法显示了NeRFs在闭环仿真、AD系统测试以及作为先进的训练数据增强技术方面的潜力。然而，现有的方法往往需要较长的训练时间，密集的语义监督，或者缺乏泛化性。这反过来又阻碍了NeRFs在AD中的规模化应用。在本文中，我们提出了一种针对动态AD数据的鲁棒的新颖视图合成方法NeuRAD。我们的方法具有简单的网络设计，对相机和激光雷达广泛的传感器建模- -包括卷帘快门、光束发散和光线投射- -并且适用于盒子外的多个数据集。我们在五个流行的AD数据集上验证了其性能，达到了目前最先进的性能。为鼓励进一步开发，我们将公开发布NeuRAD源代码。

3. 效果展示

NeuRAD是一种为动态汽车场景量身定制的神经渲染方法。通过它，可以改变自车和其他道路使用者的姿态，以及自由添加和/或删除行动者。这些能力使得NeuRAD适合作为组件的基础，例如传感器逼真的闭环仿真器或强大的数据增强引擎。

4. 具体原理是什么？

NeuRAD为汽车场景的静力学和动力学学习一个联合神经特征场，其中两者仅由行动者感知哈希编码识别。落在执行器包围盒内的点被转换为执行器-局部坐标，并与执行器索引一起用于查询4D哈希网格。之后使用上采样CNN将体渲染的射线级特征解码为RGB值，并使用MLPs解码为射线下降概率和强度。

5. 和其他SOTA方法对比如何？

在五个数据集上与SOTA方法进行图像新视角合成性能比较。

Lidar新视角合成性能与SOTA方法的比较。

6. 总结

这篇文章提出了一种专门为动态自动驾驶( AD )数据量身定制的神经模拟器NeuRAD。该模型在360 °中联合处理激光雷达和相机数据，并将世界分解为静态和动态元素，允许创建真实世界驾驶场景的传感器可编辑克隆。NeuRAD融合了各种传感器现象的新颖建模，包括光束发散、光线下降和卷帘快门，提高了新视图合成的质量。

审核编辑：黄飞