探析传感器结构化激光雷达数据及其标记

自动驾驶难度很大，标记数据不应该那么难。

像素级语义掩码在2D和3D投影之间完美关联据麦姆斯咨询报道，激光雷达（LiDAR）新锐厂商Ouster近日与Playment和Scale.AI一起宣布了一项激光雷达数据标记合作伙伴计划，以为Ouster快速增长的客户群（目前已超过300家，并且还在不断增长中！）简化并提高激光雷达数据标记的效率。Ouster希望其开发的数据标记技术不仅可以服务于Ouster的客户，还能惠及广阔的机器学习行业。几个月来，Ouster与Playment和Scale.AI合作开发了一种新的数据标记工具，利用Ouster激光雷达数据自身的2D-3D特性，将数据标记成本降低了50%，并能提供更高精度、更快速的标记以及更多的标记选项，还能大大简化从数据捕获到开始模型训练的过程。此外，Ouster还为激光雷达数据开发了一种开放格式，使客户的数据记录、存储、传输、加载和标记变得更加简单。Ouster开放了这种数据格式，希望产业其它厂商能够围绕Ouster已经开始的工作进行标准化（尽管它只支持结构化激光雷达数据）。这种激光雷达格式将包含在Ouster开源驱动的更新中，使客户的OS-1传感器数据能够直接以这种格式记录，以便将其转移到Playment、Scale.AI或其他厂商进行数据标记。结构化激光雷达数据的优势

OS-1传感器结构化激光雷达数据的可视化

传统激光雷达通常采用机械旋转单元或者是光束扫描单元。典型的机械旋转激光雷达倾向于以非恒定的速度旋转，导致每帧的点间隔不均匀。同时，MEMS或扫描激光雷达倾向于有部分光束以非线性S形曲线扫描。这些都不利于将激光雷达数据存储在固定网格中，用于2D深度学习、压缩数据格式和易于标记。得益于Ouster的多光束flash激光雷达设计，Ouster的OS-1传感器能够输出结构化激光雷达数据，其中水平和垂直角度间距就像相机一样，始终保持不变。这就能使激光雷达输出2048 x 64像素尺寸固定的深度图以及每帧上的强度和环境光图像，从而可以使用卷积神经网络，并大规模简化图像存储和标记。

虽然RGB-D相机和传统flash激光雷达也能够输出结构化深度数据，但与Ouster OS-1相比，这两类传感器在室外环境中的探测距离、深度分辨率、视场或稳定性都不如OS-1。不过，这些短距离结构化3D相机仍然可以从Ouster正在开发的工作中受益，Ouster鼓励这些产品的制造商考虑应用Ouster的方案。结构化激光雷达数据的标记工作流Ouster通过与标记合作伙伴合作，在其标记工具中利用Ouster的结构化数据优势，最大限度地降低了标记成本，提高其功能性，并显著提高了注释精度。例如：

- 为注释器提供同步的2D和3D视图，作为当前任务的直观视觉确认；

- 在2D激光雷达图像中注释像素级掩码，并使用3D点云检查掩码精度，通过添加或移除单个点或选择点簇并更新2D掩码，来优化3D点云内的掩码；

- 使用3D边界框自动生成100%准确的2D掩码（语义或实例分割）、长方体或2D图像中的边界框。一旦亲身了解过这种标记流程的运行，就会清楚它有多高效和准确。另一种方法是为2D和3D数据复制这项工作：

从3D边界框自动生成的完美2D像素级掩码（左下图像），以及2D掩码用于优化3D边界框的精度

这种方案尽可能用最少的工作量和最高的精度，提供了最大的标记族，从2D边界框、语义和实例掩码到3D边界框（2D或3D）、点云语义和实例分割。

顶部图像中显示了手工标记的3D边界框，下图2D帧图像中显示了自动生成的像素级掩码、边界框和长方体这些意味着什么？10~50%的成本降低和更快地标记无需单独标记2D和3D数据集，Ouster将所需的注释量减少了2倍，最终降低了客户的成本。更小的文件尺寸Ouster的开源结构化数据格式，可将文件尺寸及其相关的传输成本降低97%。目前，随着激光雷达数据量的不断增高，以至于一些客户需要将硬盘驱动器运送给他们的标记合作伙伴。是时候改变这一现状了！更高的标记精度通过2D和3D格式之间标记的可转换性，提高了2D和3D标记精度，为注释提供了更多的视觉辅助，实现了100%准确的2D语义掩码。语义分割中不再有边界问题。即使是商店和展厅内的行人和汽车也能轻松准确地进行标记！更准确的标记还意味着Ouster可以在测试算法时生成更准确、可测量和有意义的指标。

注意图中汽车经销商展厅的窗框，已经自动从车辆掩码中去除

尽管图中零售店的人群中分布着树木、窗户和家具，但这些顾客在2D图像中也被完美地分割出来

动态遮罩（Rotoscoping）和绿屏抠像这些词汇是不是看起来有点眼熟，因为它们确实很流行。在另一个大众产业，几十年来一直在投资在大型2D图像集中生成像素精确掩码的技术和工具，那就是：电影产业。动态遮罩和绿屏抠像技术已经有很长的历史，通常是高度手动的（对绿屏抠像来说略少），是一种从相机的场景中分割演员和其它感兴趣的对象以进行合成的方法。像自动驾驶和机器人产业一样，它们最近一直在开发利用3D相机和深度学习的自动化动态遮罩技术。