双目测距

好的，我们来详细解释一下双目测距（Binocular Ranging / Stereo Vision Distance Measurement）的原理和过程。

核心思想： 模仿人类的双眼视觉。通过两个在水平方向上有一定距离（称为基线）的摄像头，同时拍摄同一场景，然后计算空间中同一点在两个图像中出现位置的差异（称为视差），利用三角几何原理推算出该点到摄像头的距离（深度）。

核心公式： 距离 (Z) = (焦距 (f) * 基线 (B)) / 视差 (d)

f：摄像头的焦距（通常以像素为单位）。
B：两个摄像头光心之间的水平距离（基线长度）。
d：同一个空间点在左图像和右图像中的对应像素点之间的水平坐标差（视差）。d = x_left - x_right。
Z：目标点到摄像头平面的垂直距离（深度）。

关键步骤：

摄像头标定 (Camera Calibration):
- 目的： 确定每个摄像头的内部参数（内参）和两个摄像头之间的相对位置姿态（外参）。
- 内参： 焦距 f、主点坐标 (cx, cy)、畸变系数（径向畸变、切向畸变）。通常通过拍摄已知精确尺寸的标定板（如棋盘格）来求解。
- 外参： 主要是两个摄像头之间的旋转矩阵 R 和平移向量 T。其中平移向量 T 在水平方向上的分量就是基线长度 B。这是整个双目系统的核心参数之一。
- 输出： 消除畸变后的图像，精确的 f, cx, cy, R, T。
图像校正 (Stereo Rectification):
- 目的： 对左右图像进行几何变换，使得：
  - 两个摄像头的成像平面共面（理想情况下平行）。
  - 极线（即一个图像中的点，其在另一个图像中的对应点可能所在的线）变为水平线。
  - 左右图像中对应点的行坐标（y坐标）相同。
- 为什么重要： 极大地简化了后续的立体匹配步骤！匹配时只需在同一水平扫描线上搜索对应点即可，大大减小搜索范围，提高效率和精度。
- 输出： 校正后的左图像（Rectified Left Image）和校正后的右图像（Rectified Right Image）。
立体匹配 (Stereo Matching):
- 目的： 对于左图像中的每一个像素点（或特征点），在右图像中找到其对应点（即图像中同一个空间点的投影）。这是双目视觉中最关键、最复杂也最容易出错的步骤。
- 难点： 遮挡（一个摄像头能看到，另一个看不到）、重复纹理（难以找到唯一匹配点）、弱纹理区域（缺乏特征）、光照差异、透视变形等。
- 主要方法：
  - 局部匹配： 最常用。对左图像中的一个像素点，在其右图像对应的水平扫描线（根据校正结果）上的一定搜索范围内，以一个像素块（Window）为单位，计算该左图像块与每一个候选右图像块之间的相似度（如 SAD - 绝对差和， SSD - 平方差和， NCC - 归一化互相关）。选择相似度最高的位置作为匹配点。
  - 半全局匹配 (Semi-Global Matching, SGM)： 效果更好但计算量更大。不仅考虑单个像素或局部窗口的相似度，还考虑同一行、同一列甚至对角线方向上像素的视差一致性（平滑性约束），通过动态规划或路径聚合来优化全局或半全局的视差图。
  - 全局匹配： 定义全局能量函数（包含数据项和平滑项），通过图割（Graph Cut）或置信度传播（Belief Propagation）等优化算法求解最优视差图。精度高但计算量巨大。
- 输出： 视差图 (Disparity Map)。这是一个和输入图像同样大小的图像，但每个像素的值不再是颜色，而是该像素对应的视差值 d（通常是整数）。离摄像头近的物体视差大（在左右图像中的位置差大），远的物体视差小。
深度计算 (Depth Calculation):
- 目的： 利用标定得到的内参（f, cx, cy）和外参（主要是 B），结合视差图 d，根据核心公式 Z = (f * B) / d 计算每个像素点的深度值 Z。
- 输出： 深度图 (Depth Map)。这也是一个和输入图像同样大小的图像，每个像素的值是其到摄像头平面的距离 Z。

应用场景：

机器人导航与避障
自动驾驶（环境感知）
无人机（地形测绘、避障）
工业检测（尺寸测量、缺陷检测）
AR/VR（场景理解、手势交互）
三维重建

优点：

原理清晰，模拟人眼，直观。
被动式（只需环境光），成本相对较低（相比激光雷达）。
能获取密集的深度信息（整个场景的深度图）。
硬件成熟（普通摄像头即可）。

局限性：

计算复杂度高： 立体匹配算法耗时，尤其在追求高精度和高分辨率深度图时。
精度依赖基线长度和焦距： 基线 B 越大，理论上测距精度越高、有效距离越远，但也会带来更大的盲区和视场角减小的问题（近处物体可能只有一个摄像头能看到）。焦距 f 越大，视野越窄，但视差精度可能更高（相同距离物体在图像中更大）。
匹配难度： 在无纹理区域（如白墙）、重复纹理区域（如草地、百叶窗）、遮挡区域、强反光区域等，匹配容易失败，导致深度数据缺失或错误。
光照要求： 光线太暗或太强（曝光过度）都会影响图像质量和匹配效果。
校准精度要求高： 标定参数的精度直接影响最终测距精度。

总结：

双目测距是一种基于三角测量原理，利用两个摄像头拍摄的图像计算目标距离的技术。其核心步骤包括：摄像头标定（获取精确参数）、图像校正（使匹配更简单）、立体匹配（找到左右图像对应点，生成视差图）和深度计算（利用视差图和参数生成深度图）。它在众多领域有广泛应用，但也面临计算复杂度高、匹配困难、依赖光照和标定精度等挑战。