双目视觉在智能驾驶领域的应用

引言                          

围绕“双目智驾应用”，我们将推出系列文章深入解析双目视觉如何跨越技术鸿沟，在中国智驾的沃土上生根发芽，探索其赋能未来出行的无限可能。

点击链接双目视觉智能驾驶行业应用-系列1，可回顾上期内容。

在智能驾驶领域，双目视觉工程化研究可以分为硬件部分和软件部分。其中，硬件部分指的是双目相机、镜头系统、图像传感器、处理单元、同步控制器；软件部分指的是成像调校、相机标定、立体匹配、点云重建等多个环节。

一、硬件部分

（一）硬件组成

① 双目摄像头

• 核心组件，通常为两个参数一致的高分辨率摄像头（如rolling），用于同步采集左右视角的图像。

• 需保证严格的时间同步（通过硬件同步信号或软件触发），避免动态场景下的运动模糊。

② 镜头系统：

• 影响成像质量的镜头参数：焦距、视场角（FOV）、光圈大小、畸变系数等。

• 常用广角镜头或定焦镜头，需确保左右镜头的参数匹配。

③ 图像传感器：

• 传感器类型（如CMOS或CCD）及分辨率（如1080p/4K），直接影响图像细节和计算精度。

• 高动态范围（HDR）传感器可提升复杂光照下的鲁棒性。

④ 处理单元：

• 嵌入式平台：如FPGA、DSP或ARM芯片，用于实时图像处理和立体匹配。

• 高性能计算单元：如GPU（NVIDIA Drive系列）或专用ASIC芯片，加速深度图生成。

⑤ 同步控制器：

• 确保双摄像头严格同步曝光和采集，避免时序误差（如通过硬件触发信号）。

一、硬件部分

（二）硬件分析

硬件参数决定了立体视觉能力的理论上限，一般重点关注图像分辨率、像元尺寸、焦距、基线距离、光圈数、景深范围、光轴稳定性等指标。例如，双目视觉的焦距为f，基线距离为B，则距离测量公式为Z=Bf/d，其中d是双目视觉的视差值，对于一个硬件参数确定的双目视觉系统，视差d是通过立体匹配算法得到的数据，因此距离的测量范围及测量精度，是由Bf，即基线距离乘以焦距决定的。因此，双目相机的硬件参数，决定了传感器测量精度的能力上限。

此外，双目相机在智能驾驶领域应用，还必须要考虑到稳定性问题。

稳定性一般指两个含义：结构件在长期使用过程中的老化现象和由于外界因素导致的临时应变现象。其中前者的老化现象是不可逆且相对缓慢的变形，后者临时应变现象是在短期内发生且可逆的变化。

针对临时应变现象，一般需要采用一些硬件或工艺补偿的方式进行优化。例如，结构件对温度敏感，如果相机的局部温度过高，则会造成sensor、pcba、粘结胶、结构外壳等不同程度的膨胀变形，这种热膨胀会直接导致sensor在对焦距离位置上发生偏移，进而使相机在高温下的清晰度指标下降；当温度下降后，这种热膨胀变形又可以基本恢复到变化前的状态。

针对这种临时应变现象，改进优化的方式一般有两种思路：

第一，设计合理的散热结构，使温度上升在合理可控的范围内，结构件的热膨胀程度满足设计指标，则不会出现清晰度变差至不可使用的程度。

第二，在AA工艺中根据实际情况进行离焦补偿，以保证在工作环境下热膨胀后能达到可以接受的清晰度指标。

针对老化现象，则需要基于材料特性、应力分析、受热分析、震动分析等实际数据，从结构设计角度出发，追求成本可控的前提下实现较好的刚度，保证老化形变是缓慢的、均匀的持续性变化，不会出现突然的、巨大的变化。同时也要认识到，结构老化是不可能完全避免的，因此也要求双目相机在长期使用过程中必须要有自我检测和自我修正的功能，这种自我检测和自我修正的能力就是计算机视觉中常提到的动态自标定。

下一章我们将为大家介绍软件系统知识。