强光、暴雨、泥污、大雾——不依赖天气的相机感知验证怎么做？

▍文章来源于康谋

 

一、引言

想象一下：你开发了一套自动驾驶相机感知算法，需要验证它在强光逆光、暴雨、摄像头镜面被泥水污染等极端场景下是否稳定可靠。

现实道路测试？

等一场大雨需要时间

制造一场大雾需要运气

一次完整的实车路测动辄百万成本

某些危险场景根本无法在公共道路上重现

这就是整个自动驾驶行业的共同痛点：真实数据稀缺、场景覆盖率低、测试成本居高不下。

传统的硬件在环（HiL）测试虽然能解决部分电控验证问题，但却难以真实模拟传感器的物理感知过程，尤其是相机传感器的光学特性、成像质量以及复杂环境下的视觉退化。这就是为什么越来越多的 Tier1 和 OEM 开始将目光投向高保真传感器仿真平台。

那么，有没有一种方法，能够在实验室里就精确模拟出强光逆光、暴雨、泥污污染这些极端场景下的相机成像？这正是高保真传感器仿真平台需要解决的问题。下面，我们以aiSim为例，从传感器覆盖、相机模型、分辨率配置、HDR渲染到全栈可调参数，逐一拆解其技术实现。

 

二、全品类传感器统一仿真

aiSim 仿真核心

aiSim 依托自研 AIR 引擎，基于 Khronos Vulkan API 构建统一的 GPU 渲染管线，目前支持超过 20 种传感器模型，覆盖主流自动驾驶感知体系：

相机传感器（Camera）：支持光栅化与光线追踪两种渲染模式

  LiDAR 传感器：支持旋转式与固态，可输出带语义的三维点云

雷达传感器：含高层目标列表与底层雷达目标仿真，支持多径反射建模

GPS / IMU 传感器：支持噪声注入的惯性导航仿真

此外，还有超声波传感器、占用栅格传感器等多类 CPU 处理传感器

所有传感器均工作在统一的物理坐标系下，支持多传感器联合仿真，输出可直接对接感知算法验证流水线。

aiSim GUI 传感器配置

三、详解相机：物理级仿真核心能力

相机是自动驾驶感知的核心器件之一，其仿真保真度直接影响算法训练数据和测试结果的可信度。aiSim 基于自研 AIR 引擎，可实现物理级相机传感器的仿真渲染。关于相机置信度的验证实验材料，可联系文末联系康谋获取，本文不作展开。

覆盖全场景的多种相机模型

aiSim 支持以下多种主流相机畸变模型：

每种模型配备独立的畸变参数（如焦距 focal_length、主点 principal_point、畸变系数 distortion_coefficients），精确还原真实镜头的光学特性。

3DGS地图下的多样化相机模型示例

（Perspective、OCam Fisheye、OpenCV Pinhole）

分辨率 & 视场角自由配置

相机的水平与垂直分辨率可在 0 到 32768 像素之间自由设置（width / height），满足从低分辨率 IoT 摄像头到高分辨率感知相机的全覆盖需求。

视场角通过 render_y_fov 参数控制（范围 1°～180°），对于视场角超过 120° 的广角相机，推荐使用 Cube_6_Face 六面体环境映射以确保无盲区覆盖。此外，Auto_* 系列自动模式能根据传感器畸变分布自动选取最优渲染策略，免去手动调参的烦恼。

物理级 HDR 真实光照成像

aiSim 的核心渲染哲学是"全链路物理光照"——从光源（太阳辐照度 120,000 lx、IES 人工光、天空模型）到材质（PBR 材质、Cook-Torrance BRDF），再到相机成像，完整遵循渲染方程。

aiSim 相机传感器成像工作流

HDR 数据存储在线性色彩空间（sRGB）中，默认采用 16 位浮点 RGB 格式（最大值 6.55×10⁴，精度 3.31 位小数），也可切换为 32 位浮点格式获得更高精度（最大值 3.4×10³⁸，精度 7.22 位小数）。

HDR 数据还可导出为 EXR 或 DDS 格式，Alpha 通道携带表面辐照度（单位：lux）；将 RGB 三元组从 sRGB 转换到 CIE XYZ 色彩空间后，Y 分量即为亮度值（单位：cd/m²），直接支持光度学分析。

不同参数下的光照渲染效果

全链路可调参数

aiSim 相机传感器提供了业界罕见的全栈参数开放能力：

光学参数

- 景深（DoF）：focus_distance（焦距，支持 infinity）、aperture_diameter（光圈直径，置 0 关闭 DoF）、sensor_size_scaling_number（像元尺寸，默认 4μm）

成像管线参数

- 曝光控制：支持手动（F值 f_stop、快门速度 shutter_speed、ISO sensitivity）与自动（基于平均亮度 AutoFromAverageLuminance、基于 LUT AutoFromExposureLUT）多种模式

- RAW 传感器输出：通过 AimRawCFA16 模式模拟 CMOS/CCD 信号处理流程，支持 rgb_radiant_exposure_to_voltage（辐射曝光转电压）、analog_gain、adc_bit_precision（ADC 位深）等底层参数

- 卷帘快门（Rolling Shutter）：逐行采样动态对象状态，精确重现运动模糊与卷帘畸变（需开启光线追踪）

渲染质量参数

- 光线追踪：samples_per_pixel（每像素采样数）、max_depth（最大弹射深度）、denoiser_type（Intel OIDN 2.0 降噪，支持 Low/Balanced/High 三档）

- 后处理：色调映射（Filmic / FilmicACES / Reinhard / AMDFidelityFXLPM 等多种算法）、色彩校正、饱和度、Bloom、SSAO、SMAA 等

- 色差（Chromatic Aberration）：基于 STN 模型，可独立平移红/绿/蓝通道，模拟真实镜头色散

环境干扰参数

- 传感器污染（Sensor Blockage）：支持泥污（Mud）和冷凝（Condensation）两种污染类型，bias 参数控制污染程度（0～100），seed 控制随机分布

- 运动模糊：基于每像素速度图，精确计算运动方向与模糊程度

aiSim 景深、光晕、色差示例

 

四、结语

从物理光照建模到镜头畸变还原，从HDR成像链路到底层RAW信号模拟，aiSim在相机传感器仿真的每个环节都提供了可量化的参数配置接口。其核心特征在于：覆盖11种镜头畸变模型、支持0~32768像素分辨率连续可调、实现了全链路物理光照的HDR成像，并将光学、成像管线、渲染质量与环境退化参数全面开放。