基于激光雷达信息与单目视觉信息的车辆识别方法

采用单一传感器识别前方车辆易造成误判，为了提高检测准确率，提出了一种基于激光雷达信息和单目视觉信息的车辆识别方法，该方法综合考虑了激光雷达传感器和单目视觉传感器的信息。首先对激光雷达原始信号进行预处理，然后对筛选后的数据进行最临近距离法聚类处理，并转换到图像坐标系中，初步确定障碍物检测的 ROI （感兴趣区域）。

提取 ROI 区域的图像，并对其进行灰度化，灰度增强和图像滤波的预处理。通过计算预处理后图像的熵值归一化对称性测度，完成前方车辆的检测。通过实验，验证该方法可以较好地识别前方车辆，弥补了单一传感器在车辆识别中的不足，同时耗时较短，可以满足实时性的要求。

1.  现有评价体系难以保证车辆识别的实时性

对于自主车辆而言，识别障碍车辆是自主车辆环境感知系统中的关键技术。准确地检测前方车辆，对于自主车辆避障具有重要的意义。目前国内外学者已经研究出许多车辆识别的算法，如基于视觉信息以及基于激光雷达信息等方法。

由于视觉图像获取较易、处理方法多样，所以视觉技术是现阶段自主车辆研究中的主要获取信息手段。其中视觉技术主要分为单目视觉和双目视觉。单目视觉识别技术多采用基于车辆特征的方法，该方法主要利用车辆与背景有差异的特征，如纹理、边缘和底部阴影等。

但这种方法获取的信息量不足，缺乏深度信息，而且易受外部环境的干扰，诸如光照和阴影等因素。双目视觉识别技术虽然可以取得较好的效果，但其计算量较大，算法复杂，难以保证车辆识别的实时性。

激光雷达能够获得场景的距离信息，不易受光照等外部条件的影响，但其获取的外部信息不充分，易造成误判。而采用多传感器融合技术可以克服单一传感器获取信息量不足，探测范围小的缺点。

曾杰等分别通过毫米波雷达和摄像头对前方车辆进行检测，然后分别对雷达和摄像头检测到的目标进行目标一致性检测，可以较为准确地检测出前方车辆的宽度、位置等信息，但此方法需要处理整幅图像，运算量较大，且面对尾部特征复杂的情况时易出现漏检情况。

杨磊等通过对雷达信号进行预处理，确定感兴趣区域，采用 Canny 算子进行边缘检测，确定车辆的具体位置，虽然算法较为简单，但易受外部光照环境影响，准确率不够理想。高德芝等采用基于密度的空间聚类算法对雷达信息进行聚类确定感兴趣区域，利用 T- 模糊推理系统融合车辆的灰度、宽高比和信息熵等多个特征验证车辆假设，可以实现较好的识别效果，但是算法较为复杂，难以满足实时性要求。

为了使车辆识别算法具有较好的准确性，同时减少算法的复杂程度，本文采用激光雷达和单目视觉两种传感器相结合的车辆识别方法，即先对激光雷达信号进行预处理，并采用最邻近距离法进行聚类，初步确定感兴趣区域，然后对感兴趣区域进行预处理操作，计算感兴趣区域的熵值归一化对称性测度，对初步确定的感兴趣区域进行验证，完成对前方车辆的识别。
 

2.  传感器配置及初步确认感兴趣区域

2.1 传感器配置

本文进行分析的数据来自 KITTI 数据库，KITTI 数据库是目前为止地面自主车辆研究中最大最全的公布数据库。

该数据库提供了惯导系统、64 线激光雷达、黑白立体摄像机、彩色立体摄像机的同步数据，其中摄像机提供的是去除畸变之后的图像。

激光雷达以 10 帧 / 秒的速度触发摄像机进行拍摄，因此其时间同步性也得到了保证，同时该数据库对各传感器都进行了标定，标定参数已知。该数据库进行测试的车辆的传感器安装位置如图 1 所示，由于只选取了该数据库中的激光雷达和其中一个彩色摄像头的数据，故图 1 中只标出了这两个传感器的安装位置。

2.2 雷达信号的预处理

本文所研究数据的雷达信息由 Velodyne HDL64 线三维激光雷达采集。64 线激光雷达的点云数据量非常大，约 100 万个点 / 秒。如图 2 所示，若直接对雷达数据进行分析，系统所需处理的信息量过大，难以满足实时性的要求。因此，在通过雷达数据获取感兴趣区域前，需要对雷达数据进行预处理。

由图 2 可以看出，未处理的雷达信号将路面也扫描在内，由于本文主要对前方车辆进行检测，因此将高度低于 0.2 m 的雷达信号剔除。汽车在行驶中，位于不同车道内行驶的车辆对于自车的影响程度不同，位于本车同车道的前方车辆和相邻车道的前方车辆对自车的安全影响最大，为了减少处理的数据量，本文算法主要对主车道和旁侧车道的目标进行识别。

同时根据图 2 所示，在纵向距离 40 m 之后，激光雷达的数据点越来越稀疏，难以提取有效的障碍物信息，而且视觉传感器难以表现 40 m 外目标的特征。综上，将前方纵向 40 m，横向 10 m 作为雷达的有效区域。经过上述预处理的雷达信号如图 3 所示。
 

2.3 聚类处理及感兴趣区域的获取

如图 3 所示，经过预处理的激光雷达点较为分散，对于同一个目标，雷达会返回多个值。因此，为了从雷达数据中提取出有效的障碍物信息，需要对雷达数据进行聚类。

聚类分析作为一种常用的模式识别方法，在处理数据集中发挥着重要的作用，通过对雷达数据进行聚类处理，可以使雷达数据得到简化，判断出车前障碍物的数量和位置。

常用的聚类方法主要有栅格聚类法、距离聚类法和密度聚类法等，为了减少算法的复杂程度，本文采用最临近距离法对目标进行聚类。

具体步骤如下：把经过预处理的雷达数据按照与自车的纵向距离由近及远进行重新排列，并按照顺序为各障碍点编号。给 1 号障碍点赋值类别编号为 1，然后按顺序计算之后障碍点与之前所有同类别障碍点之间的欧氏距离。并根据普通车辆的宽度设定预设阈值：

具体的流程图如图 4 所示。

对雷达进行聚类处理后，将雷达信号由世界坐标系转换至图像坐标系中。对每个类别进行如下操作：在图像坐标系中，将该类别内最左侧的点和最右侧的点分别向左和向右移动 5 个像素点，并将这两个点所在的列作为矩形区域的左右边界。

将该类别内最上面和最下面的点分别向上和向下移动 5 个像素点，这两个点所在的行为矩形区域的上下边界。如图 5 所示，矩形区域即为初步获取的感兴趣区域。

3.  车辆特征识别

对雷达信号进行处理之后，初步获得的感兴趣区域可能有多个，路牌、树木等无关物体也被检测在内。因此需要对感兴趣区域进一步验证，剔除非车辆的干扰。本文通过检测感兴趣区域的熵值归一化对称性测度来验证目标车辆。

3.1 图像预处理

通过视觉传感器采集的前方道路信息会受到光照等因素的影响，降低其成像质量，因此需要对感兴趣区域进行预处理。

通过预处理之后的图像，可以突出有用的信息，去除背景环境的干扰。本文采取的预处理流程包括图像灰度化、图像灰度增强和滤波去噪。

由于获取的图像为彩色图像，信息量较大，为了减少计算量，需要首先对原始感兴趣区域进行灰度化处理。获取灰度化图像之后，采用直方图均衡化的方法进行灰度增强，增加图像的全局对比度。

同时，经过灰度处理的图像往往存在噪声干扰，因此需要对图像进行滤波，由于中值滤波在一定程度上可以保留图像细节，而且算法简单，故本文采取中值滤波对图像进行处理。图 6 为原始感兴趣区域，图 7 为预处理之后的感兴趣区域。

3.2 车辆验证

感兴趣区域图像中的车辆尾部具有非常好的灰度对称性。灰度对称性指以车辆区域中线为轴，左右区域的灰度值为轴对称图形。设 R(x) 为 ROI 区域内某一行灰度数据的一维函数，因此其可以被表达为奇函数和偶函数的形式，对应感兴趣区域的对称性测度可以通过其分离出的偶函数所占的比重来决定。

对感兴趣区域逐行计算其对称性测度，然后求取其平均值，从而获得感兴趣区域的水平灰度对称性测度。

但是通常情况下，图像中道路及部分背景的灰度图像也具有水平对称性的特点，仅通过灰度图像的水平对称性测度来判断是不够的，容易造成误判，因此需要检测其他特征来增加判断的准确率。本文采用熵值归一化的对称性测度来验证车辆的存在。

通常情况下车辆所在区域所含的信息量要比背景区域多，因此可以将其作为识别车辆的依据之一。在信息论中，信息熵可以作为特定区域包含信息量的度量，其定义如式（7）所示：

4.  仿真实验

4.1 实例分析

为验证上述车辆检测算法的性能，本文选择 KITTI 数据库中的部分数据进行离线数据验证。算法采用 Matlab 编写，图像分辨率为 750×375。具体的测试环境如图 8(c）所示，包括单目标识别，多目标识别等。

识别结果如图 8 所示，其中图 8(a)为激光雷达采集到的原始数据，图 8(b）为经过预处理之后的激光雷达数据，图 8(c）为车辆检测结果及对应结果的熵值归一化对称性测度。 

4.2 实验分析

除此之外，本文采用上述算法对 KIT⁃TI 数据库中城市道路总计 572 帧的数据进行分析验证。采用本文算法正确识别车辆的数量和处理时间等数据如表 1 所示。

由表 1 可得，采用本文方法的正确检测率为 91.3%，误检率为 3.5%，漏检率为 8.7%。实验表明该算法在城市道路环境下，具有较好的适应性，能够排除树木、建筑等无关物体的干扰，能较为准确地识别前方车辆，可以满足自主车辆对前方车辆识别精度的要求。

由于 KITTI 数据库采集数据的频率为 10 Hz，本文算法的平均处理时间为 34 ms，可以满足实时性的要求。

漏检分析：由于选取的雷达识别区域为固定值，当车辆在道路边缘行驶时，可能会出现对识别范围外的车辆信息不敏感的情况，从而造成外侧车辆的漏判，对自车安全造成威胁。

针对此种情况，可以将雷达的识别范围动态化，使识别范围随车辆行驶的条件而变化，即首先进行道路识别，提取可通行道路区域，然后根据可通行道路区域识别的结果确定雷达的有效识别区域，降低漏判率，提升自主车辆的安全性能。

误检分析：当依靠自然光获取图像时难免会受到光照的影响，在光照不足时，会导致图像细节模糊不清，纹理特征不明显，从而使感兴趣区域的熵值归一化对称性测度产生较大幅度变化，非车辆目标被检测为车辆目标，造成误检。

针对此种情况，可以在原有基础上进一步检测感兴趣区域的其他特征，例如底部阴影、宽高比和边缘特征等，综合考虑多种特征，减少非车辆目标对检测算法的影响。

5.  结论

本文提出了一种模型较为简练的基于雷达信息和单目视觉信息的前方车辆检测方法。该方法利用激光雷达信息初步划分车辆检测的感兴趣区域，并通过检测感兴趣区域的熵值归一化对称性测度完成对前方车辆的确认。

实验表明该方法在城市道路环境下，正确检测率为 91.3%，可以实现较好的识别效果。同时该算法模型较为简练，单帧图像的平均处理时间为 34 ms，在保证车辆识别准确率的同时，也能保证车辆识别的实时性，降低了自主车辆对于处理器硬件的需求，具有较好的工程应用前景。 

审核编辑 黄昊宇