3D成像的介绍和工作原理以及应用

3D成像技术已经走出学术研究实验室很远一段路程，得益于传感器、照明，以及最重要的嵌入式处理技术的创新发展，3D视觉目前已经广泛用于多种机器自动化应用。从视觉引导的机器人装箱到高精度计量，最新一代的处理器现在能够处理海量的数据集和复杂的算法，从而提取出深度信息和快速做出决策。通过LabVIEW视觉开发模块的这样一个软硬件无缝集成的3D视觉工具，工程师们能够在一个图形开发环境中访问3D视觉。

1. 3D成像介绍

使用2D相机传感器或者其他光学感应技术来计算深度信息有多种方法。下文简要说明了最为常用的方法：

 

 

 

 

 

2. 视觉开发模块中的立体视觉功能

从LabVIEW 2012开始，视觉开发模块包含了双目立体视觉算法，计算来自多只相机的深度信息。利用两只相机的校准信息，新型算法能够生成深度图像，提供了更加丰富的数据来识别物体、检测缺陷，以及引导机器人臂的运动和响应。

双目立体视觉系统使用两只相机。在理想情况下，两只相机分开较短的距离，并几乎平行安装。如图1所示，用一盒球形巧克力来说明3D成像在自动化检查方面的优势。在校准两只相机以确定分离和倾斜等3D空间关系之后，系统采集两幅不同的图像以定位可能存在缺陷的巧克力。利用视觉开发模块的新型3D立体视觉算法，将两幅图像合成，然后计算深度信息以及实现深度图像可视化。

 

图1. 立体视觉利用左右两幅图像生成深度图像示例

3D深度图像显示有两块巧克力的圆润度达不到高品质标准，然而2D图像就不是如此明显。图2所示图像用白框圈起有缺陷的巧克力。

 

图2. 3D深度图像，有缺陷的巧克力用白框圈起

在利用立体视觉时，一项很重要的考虑是：根据左图的一条线和右图的同一条线来定位特征，并据此计算视差。为了定位并区分特征，图像需要具有足够的纹理，并且为了获得更好的结果，您可能需要用结构化的照明来照亮场景，以增加纹理。

最后，可以利用双目立体视觉来计算被检物体表面上的点的3D坐标(X,Y,Z)。这些点常常称为点云。点云对于3D物体形状的可视化非常有用，而且也可以被其他3D分析软件所用。例如，LabVIEW工具网络现在提供AQSense 3D形状分析库 (SAL3D)，并使用点云进行进一步图像处理和可视化。

3. 立体视觉的工作原理

为了更好地说明双目立体视觉的工作原理，图3提供了一个简化的立体视觉配置图，其中两只相机平行安装，并具有相同的焦距。

 

图3.简化的立体视觉系统

图3所示变量为：

b为基线，或者两只相机的间距

f为相机焦距

XA为相机的X轴

ZA为相机的光轴

P为坐标X、Y和Z确定的真实点

uL为真实点P在左侧相机所采集图像上的投影

uR为真实点P在右侧相机所采集图像上的投影

由于两只相机的间距大小为 “b”，所以在获得的2D图像上，两只相机看到真实点P处于不同的位置。点uL和uR的X坐标为：

两个投影点之间的距离为“视差”，并且我们可以利用此视差来计算深度信息，即真实点“P”与立体视觉系统之间的距离。

在实际应用中，立体视觉配置要更加复杂，比较类似图4所示的典型系统，但基本原理仍是一样的。

 

图4. 典型的立体视觉系统

简化立体视觉系统的理想假设并不适用于真实世界的立体视觉应用。即使是最好的相机和透镜，也都会给采集到的图像引入某种程度上的失真。为了进行补偿，典型立体视觉系统还需要进行校准。校准过程需要使用校准网格，此网格在不同角度处获得，用来计算图像失真以及两只相机之间的确切空间关系。图5所示是视觉开发模块附带的校准网格。

 

图5. 视觉开发模块以PDF文件的形式包含进校准网格

视觉开发模块包含有多种功能和LabVIEW实例，引导您完成立体视觉校准过程，生成若干校准矩阵，并用于视差和深度信息计算。然后，您可以进行3D图像的可视化，如前文图1所示，以及进行缺陷检测、物体追踪、运动控制等各种分析。

4. 立体视觉应用

立体视觉系统最适合相机设置及位置固定，并且不会发生较大扰动的应用场合，常见的一些应用场合包括导航、工业机器人、自动化检查、监控等。

 

 

 

 

 

 

5. 总结和下一步

LabVIEW视觉开发模块中的立体视觉功能赋予多种行业和应用领域的工程师们以崭新的3D视觉能力。通过LabVIEW的开放性，工程师们可以使用第三方的硬件和软件3D视觉工具获得其他高级功能，包括激光三角成像所用的SICK 3D Ranger Camera以及3D图像处理所用的AQSense 3D形状分析库。LabVIEW视觉开发模块使工程师们能够在一个图形开发环境中访问3D视觉。

 

下一步

下载并评估NI机器视觉软件

了解NI视觉的最新特性

下载ImagingLab 3D机器视觉库

获取SICK 3D相机的3D和MultiScan数据

LabVIEW工具网络访问许可，第三方加载项

参考资料：

视觉开发模块概念帮助