基于LiDAR点流的运动事件检测

1. 写在前面

今天为大家推荐一篇香港大学MARS实验室最新开源的工作，使用激光雷达实现了微秒级的运动事件检测，发表在Nature子刊Nature Communications上。

下面一起来膜拜一下这项神作~

2. 摘要

在动态环境中，机器人需要对具有微秒级延迟的运动事件进行瞬时检测。这个任务，称为移动事件检测，通常是使用事件相机来实现的。尽管激光雷达( Light Detection and Ranging，LiDAR )传感器因其密集和精确的深度测量而对机器人至关重要，但其在事件检测中的应用尚未得到深入探索。目前的方法涉及将LiDAR点积累到帧和检测物体级别的运动，导致了几十到几百毫秒的延迟。我们提出了一种不同的方法，称为M-detector，它确定一个点是否在到达后立即移动，从而导致一个延迟仅为几微秒的逐点检测。M-detector是基于遮挡原理设计的，可以在不同环境下使用多种类型的LiDAR传感器。我们的实验证明了M-detector在各种数据集和应用上的有效性，显示了其优越的准确性、计算效率、检测延迟和泛化能力。

3. 效果展示

M-detector对场景中的运动进行瞬时检测，即对突然穿过的行人进行检测。行人在0.01 s时从墙后冒出，在不检查路况的情况下迅速进入道路（a）。b：检测静止的行人开始运动。女士在十字路口等待，直到0.4 s，她抬起腿开始过马路。其余行人保持静止，未开始移动。在这两种情况下，第一行显示的都是图像序列，第二行显示了在Livox AVIA激光雷达上M-detector的最后100 ms的检测结果，该激光雷达具有非传统的非重复不规则扫描模式。M-detector在点到达后立即判断点是否在移动物体上，导致检测延迟小于LiDAR点采样间隔(几微秒)。M-detector基于第一性原理即遮挡原理设计，检测场景中任何运动部分采样的点，而不管其形状如何。

4. 具体原理是什么？

M-Detector与M-Cell的类比。M-detector以逐点检测的方式从LiDAR点流中检测移动事件，导致检测延迟仅为2 ~ 4 μs。M-detector的低潜伏期类似于人类视觉系统外侧膝状体核( LGN )中的巨细胞细胞( M-cells)，同样具有较快的响应时间，但分辨率较低。相比之下，将点累加到帧中会导致更高的分辨率，但也会导致更长的延迟(例如, 100毫秒)，这一现象类似于LGN中的小细胞性的细胞( P-cells )。

遮挡原理。a：当物体穿过激光雷达的激光射线时，当前点(蓝色点)将遮挡之前在Tk-1时刻采集到的点(橙色点)。b：当物体沿激光射线运动并远离传感器时，当前点(蓝色点)将被之前的所有点( (即Tk-1处的橙色点和Tk-i处的绿色点) )遮挡，然后被自己的(即Tk-1处的橙色点被Tk-i处的绿色点遮挡)进一步遮挡。当物体沿着激光射线向传感器方向移动时，当前点(蓝色点)将遮挡所有先前的点(即Tk-1处的橙色点和Tk-i处的绿色点)，并进一步遮挡自己的(即Tk-1处的橙色点包围Tk-i处的绿色点)。

M-detector的系统工作流程（a）和事件检测步骤（b）。

5. 和其他SOTA方法的对比

M-detector在不同数据集上的性能。a：不同方法在不同数据集上的IoU结果。b：M-detector、LMNet-8*和SMOS在KITTI上的比较。场景图像为序列15中的第68帧。c：AVIA-Indoor数据集细节。左列显示场景中拍摄的图像，右列显示M-detector在frame-out模式下对应的检测结果。在上述所有检测结果中，红色点代表该方法标记的事件点，白色点代表非事件点。

不同数据集上的时间消耗和检测延迟。a：不同方法在不同数据集上的每帧时间消耗。时间消耗以log尺度表示。b：M-detector在不同数据集上的时间消耗分解和检测延迟。外环代表时间消耗分解，包括事件检测、聚类和区域增长以及深度图像构建。圆环的总长度表示框架周期，由上述3个步骤以不同的颜色和相应的数字所占据。每个圆环的未着色部分表示每帧空闲时间。粉红色的中环扇区代表了M-detector在frame-out模式下的检测延迟，它是由事件检测和聚类与区域增长共同引起的。褐色内点表示M-detector在point-out模式的检测延迟，仅由单点的事件探测引起。环中心的单词和数字分别表示数据集的名称和对应的帧周期。

审核编辑：黄飞