探索自动驾驶传感器仿真模型的可信度

引言

智能网联汽车是近年来汽车领域的发展趋势，是先进技术的发展方向，对于L3及以上的自动驾驶系统，模拟仿真测试是主要的研发手段。在智能网联汽车仿真测试过程中，传感器建模是一个关键环节，其建模质量决定了仿真测试中智能汽车感知环境目标对象的逼真度，传感器感知到的周围环境信息不同，将影响自动驾驶系统决策和控制模块的响应[1]。

环境感知作为实现自动驾驶的首要环节，主要是通过智能网联汽车搭载的视觉相机、激光雷达、毫米波雷达等传感器感知周围的道路环境并快速准确的获取周围目标的类别、位置、尺寸和速度等信息，是自动驾驶系统决策、规划与控制的基础。

图1 自动驾驶系统技术框架

为了使验证的结果具有更高的可靠性，仿真测试平台中所建立的传感器模型也越需要更高的还原度。联合国世界车辆法规协调论坛（UN/WP.29）自动驾驶验证方法非正式工作组提出一种自动驾驶新型测评方法（NATM）[2]，NATM中针对仿真测试提出了可信度评估框架与流程，在建模和仿真确认部分指出：应对相关系统（如传感器、车辆及其他子系统）进行确认。2023年11月17日，工业和信息化部、公安部、住房和城乡建设部、交通运输部四部委联合发布的《关于开展智能网联汽车准入和上路通行试点工作的通知》中针对仿真测试验证也明确要求：应证明使用的模拟仿真测试工具链置信度，以及车辆动力学、传感器等模型可信度，并通过与封闭场地和实际道路测试结果对比等手段验证模拟仿真测试的可信度[3]。因此，高精度传感器模型的研究是智能网联汽车仿真测试领域重要的研究方向，确保在仿真系统中，更加精准和真实的表征车辆的感知过程，进而准确感知外在环境，为决策系统提供依据，对智能汽车产品研发具有重要的意义。

基于赛目科技前期提出的《关于模拟仿真测试可信度评估方法的研究（上）——评估框架》研究成果，本篇文章总结了传感器建模层级及模型验证方法，并提出传感器模型比对思路，为后续开展传感器模型可信度评估提供参考。

传感器建模层级

根据对真实世界感知结果的保真度以及传感器建模的复杂程度，传感器模型可分为理想传感器、混合传感器、物理传感器三个层级。

理想传感器：通常表示没有误差的传感器模型，主要考虑环境中的几何关系（几何模型），通过设置传感器检测边界，直接从仿真软件的环境数据中提取探测范围内的环境真值（Ground Truth，GT）作为传感器感知目标的检测结果。理想传感器模型的输入输出均为目标列表。

物理传感器：针对传感器的具体物理结构和物理原理，从物理特性的角度对传感器工作链路进行全物理级建模，还原传感器信号生成、传输、接收、处理的全过程，并在其中考虑环境条件、材料特性或传感器特定效应对信号的干扰与影响，例如电磁波的多路径反射、动态传感器性能，包括探测丢失率、目标分辨率等。物理传感器模型将仿真环境提供的虚拟环境作为输入，传感器的视频或点云等原始数据作为输出[4]。

（1）摄像头

摄像头主要由镜头、光学传感器和图像信号处理器组成。来自场景的光通过光学镜头获取视角范围内物体反射的光线，并通过光学传感器将光信号转换为图像信号，然后由图像信号处理器运行一系列图像处理算法，并完成数据格式的转换，最终输出RGB、YUV等多种图像数据。根据摄像头的物理成像原理，对摄像头的结构与光学特性、内部图像处理过程进行仿真，例如畸变、景深模糊、亮度调节、白平衡、伽玛校正等。

图2 摄像头传感器模型工作链路

（2）毫米波雷达

毫米波雷达主要由雷达发射机、雷达接收机和雷达信号处理单元组成。雷达发射模块发射出的电磁波在空间中传播，受电磁波频率和场景信息的影响，经波传播模型转换为回波信号后，输入给毫米波雷达的接收模块，然后由雷达信号处理单元对回波信号进行一系列处理，输出得到雷达原始点云数据。

图3 毫米波雷达传感器模型工作链路

（3）激光雷达

激光雷达主要由发射模块、扫描模块（如有）、接收模块和处理模块组成。激光发射模块发射激光脉冲，由扫描模块实现激光光束偏转，激光触碰目标反射后向各方向散射，部分散射光返回到激光雷达的接收模块，当回波经过接收的各级电路，最终被送至信号处理模块。处理模块会对数据进行处理，输出不同时刻每束激光探测到的目标点的位置信息，即“点云”，如点云三维坐标、激光反射强度等。

图4 激光雷达传感器模型工作链路

混合传感器：除理想传感器和物理传感器以外的其他类型传感器则为混合传感器，其建模思路可能包括以下两种情况：① 在理想传感器的基础上考虑噪声和目标物属性等因素，在理想待输出对象的数据信息中增加误差信号（如能量衰减模型与噪声模型）；② 对传感器工作链路进行部分物理级建模，输出传感器原始数据。混合传感器模型可将目标列表/环境参数作为输入，目标列表/传感器原始数据作为输出。

基于上述传感器建模的三个层级，在环境感知-决策规划-控制执行的循环中，可将感知任务分为物理测量和感知计算两部分。在物理测量阶段，传感器通过自身工作特性捕捉周围环境信息并生成传感器原始数据；而在感知计算阶段，通过目标检测算法进一步将传感器原始数据转换为目标列表（目标检测）。理想传感器和一部分混合传感器模型同时包括物理测量和感知计算，对传感器模型进行整体建模，其传感器模型的输出是目标列表，可作为决策规划模块的输入，从而支持规划控制算法的仿真测试。而物理传感器和其他混合传感器模型只包括物理测量任务，因此，它们的输出是传感器原始数据，可作为感知模块的输入，从而支持包含感知模块的完整算法的测试。

图5 “感知-决策-控制”循环流程框架

在感知系统的传感器仿真建模评价方面，Li等[5]对雷达的物理参数进行了系统的分析，并建立了雷达物理模型，其中能量衰减模型如式（1）所示。根据物理机制对雷达探测性能进行仿真，通过对雷达模型和真实雷达测量数据的拟合，采用统计方法对距离误差、速度误差和角度误差进行对比分析，验证了雷达传感器模型的准确性。

其中：

Zhao等[6]提出了一种由几何模型和物理模型组成的面向数据的激光雷达模型。物理模型能够说明天气现象如何影响激光雷达的距离测量性能，其中信号衰减模型是激光雷达物理模型的一部分，它描述了激光雷达的有效探测范围随激光传输介质而变化的现象，如式（2）所示。最后针对激光雷达模型输出的目标检测结果与实际测量结果进行比较，验证所提出的传感器模型在不同天气条件下的准确性。

其中：

Khatry R等[7]基于物理的传感器建模框架，模拟传感器在现实世界中的工作原理。通过判断与真实传感器的接近程度进行模型评估，将真实数据和模型生成的数据通过目测检查或使用巴伦相关系数和皮尔逊相关系数等定量指标来直接进行比较。Rosenberger等[8]开发了一种基于光线投射的激光雷达传感器模型来生成点云，并推导出了应用于激光雷达点云数据的评价指标，从而能够在点云数据生成的不同阶段对仿真和真实传感器数据进行定量比较。Manivasagam等[9]利用仿真得到的点云数据、其他平台仿真得到的点云数据与真实点云数据分别进行了语义分割与目标检测等工作，并计算目标的探测精度，实现了对激光雷达传感器模型的简要评价。Arsalan等[10]通过对传感器时域和点云级别的仿真数据与实际测量数据进行比较，并定义了关键性能指标（KPI），以测量所提出的模型的保真度。结果表明，在激光雷达建模时，需要考虑完整的信号处理步骤和真实激光雷达传感器的性能缺陷，才能得到接近实际传感器的仿真结果。

   传感器模型可信度评价思路

在自动驾驶功能系统设计从规范化阶段过渡到集成实际硬件与实施应用阶段，其仿真测试需要使用可信的传感器模型。上篇《模拟仿真测试可信度评估方法研究》一文中针对传感器模型可信度评价，提出“测试环境构建+对比参数”的验证框架。传感器模型配置主要是通过摄像头、毫米波雷达、激光雷达等传感器物理特性根据仿真测试需求进行建模，并将传感器模型的输出结果与真实传感器的输出结果进行比较。

图6 传感器模型可信度评估框架

本篇文章基于理想传感器、混合传感器、物理传感器的建模层级分类以及传感器仿真建模评价研究，进一步梳理出以下三个层面的传感器模型可信度验证思路。

1、目标列表层面：通过对传感器模型输出的目标检测结果与传感器实测结果进行统计对比，验证传感器模型的可信度。

· 摄像头：目标对象的特征及形状、颜色、位置，车道线的颜色、种类等；

· 毫米波雷达：目标对象的相对距离、相对速度、方向和高度等。

· 激光雷达：目标对象的相对距离、相对速度、加速度、大小和方向等。

2、传感器原始数据层面：与目标列表相比，传感器原始数据取决于建模的传感器类型。

· 图像用作摄像头原始数据，摄像头仿真每一帧的原始数据包括2D/3D包围盒、语义/实例分割图和光流等。

· 点云信息用作毫米波雷达和激光雷达原始数据。

3、传感器仿真过程各阶段输出结果：

针对传感器工作链路进行物理级建模，是搭建高保真传感器模型的关键方法。传感器仿真主要考虑了外部组件和内部组件两部分，外部组件主要指信号传输过程中环境因素的影响；而内部组件是指传感器自身的物理结构与特性。因此我们需要考虑传感器的工作模式、完整的信号处理工具链和真实传感器的特定缺陷，基于传感器信号生成、传输、接收、处理的全过程，对每个阶段的输出结果进行对比，从而实现传感器模型的精确评价。

此外，为了评估传感器仿真的真实性和可靠性，可以使用一些定量指标来反映仿真软件中传感器数据与真实环境中传感器数据之间的差异。根据不同的传感器类型和仿真目的，定量指标可以有不同的选择和定义，包括：均方根误差，相关系数，结构相似性指数，信噪比，精确度，召回率等。

小结

总的来看，提升传感器模型的仿真精度、效率，以及建立具有更高保真度的通用传感器模型是未来研究需要关注的重点。同时，传感器仿真模型可信度评价的通用指标与标准体系尚不成熟，本文初步提出了针对不同传感器的不同建模层级，选取不同对比方法进行传感器模型可信度评价。此外，对于不同传感器模型也会对应不同的评价指标或评价体系，在此方面赛目未来还将继续开展更多的研究与探索。

参考文献

[1] 刘炜,陆存豪.自动驾驶汽车环境感知传感器研究[J].汽车实用技术,2023,48(10):197-203.

[2] New Assessment/Test Method for Automated Driving (NATM) Guidelines for Validating Automated Driving System (ADS). Informal Working Group (IWG) on Validation Methods for Automated Driving (VMAD),2022.

[3] 工业和信息化部、公安部、住房和城乡建设部、交通运输部.《关于开展智能网联汽车准入和上路通行试点工作的通知（试行）》, 2023.

[4] 王若萱,吴建平,徐辉.自动驾驶汽车感知系统仿真的研究及应用综述[J].系统仿真学报,2022,34(12):2507-2521.

[5] Li X, Deng W, Zhang S, et al. Research on Millimeter Wave Radar Simulation Model for Intelligent Vehicle [J]. International Journal of Automotive Technology (S1229-9138), 2020, 21(2): 275-284.

[6] Zhao J, Li Y, Zhu B, et al. Method and Applications of Lidar Modeling for Virtual Testing of Intelligent Vehicles [J]. IEEE Transactions on Intelligent Transportation Systems(S1524-9050), 2021, 22(5): 2990-3000.

[7] Khatry R, Thompson A. Camera and Lidar Sensor Models for Autonomous Vehicles[R]. Teddington: National Physical Laboratory, 2021.

[8] Rosenberger P, Holder M, Huch S, et al. Benchmarking and Functional Decomposition of Automotive Lidar Sensor Models[C]//2019 IEEE Intelligent Vehicles Symposium (IV). Paris: IEEE, 2019: 632-639.

[9] Manivasagam S, Wang S, Wong K, et al. LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Seattle, WA:IEEE, 2020: 11164-11173.

[10] Arsalan H,Marcell P,H. M K, et al. Development of High-Fidelity Automotive LiDAR Sensor Model with Standardized Interfaces[J]. Sensors,2022,22(19).

审核编辑：黄飞