扫描3D成像方法

▍飞行时间3D成像

  飞行时间（TOF）相机每个像素利用光飞行的时间差来获取物体的深度。   目前较成熟的飞行时间面阵相机商业化产品包括Mesa Imaging AG SR-4000，PMD Technologies Cam Cube 3.0，微软Kinect V2等。

TOF成像可用于大视野、远距离、低精度、低成本的3D图像采集，其特点是：检测速度快、视野范围较大、工作距离远、价格便宜，但精度低，易受环境光的干扰。例如Camcueb3.0可靠的深度精度（<3mm @ 4m)，每个像素对应一个3D数据。

▍扫描3D成像

 扫描3D成像方法可分为扫描测距、主动三角法、色散共焦法。  扫描测距利用一条准直光束通过测距扫描整个目标表面实现3D测量，测量精度较高；主动三角法基于三角测量原理，利用准直光束、一条或多条平面光束扫描目标表面完成3D成像，如图2所示。但测量复杂结构面形时容易产生遮挡，需要通过合理规划末端路径与姿态来解决。   色散共焦法通过分析反射光束的光谱，获得对应光谱光的聚集位置， 如图3。色散共焦法适合测量透明物体、高反与光滑表面的物体。但缺点是速度慢、效率低；用于机械手臂末端时，可实现高精度3D测量，但不适合机械手臂实时3D引导与定位，因此应用场合有限。

 线结构光扫描三维点云生成示意图

色散共焦扫描三维成像示意图

▍结构光投影3D成像

 结构光投影三维成像是目前机器3D视觉感知的主要方式。 结构光成像系统是由若干个投影仪和相机组成。基本工作原理是：投影仪向目标物体投射特定的结构光照明图案，由相机摄取被目标调制后的图像，再通过图像处理和视觉模型求出目标物体的三维信息。   根据结构光投影次数划分，结构光投影三维成像可以分成单次投影3D和多次投影3D方法。  单次投影3D主要采用空间复用编码和频率复用编码形式实现。由于单次投影曝光和成像时间短，抗振动性能好，适合运动物体的3D成像。但是深度垂直方向上的空间分辨率受到目标视场、镜头倍率和相机像素等因素的影响，大视场情况下不容易提升。   多次投影3D具有较高空间分辨率，能有效地解决表面斜率阶跃变化和空洞等问题。但也有如下不足之处：   1）对于连续相移投影方法，3D重构的精度容易受到投影仪、相机的非线性和环境变化的影响；   2）抗振动性能差，不合适测量连续运动的物体；   3）实时性差；不过随着投影仪投射频率和CCD/CMOS图像传感器采集速度的提高，多次投影方法实时3D成像的性能也在逐步改进。   对于粗糙表面，结构光可以直接投射到物体表面进行视觉成像；但对于大反射率光滑表面和镜面物体3D成像，结构光投影不能直接投射到被成像表面，需要借助镜面偏折法。   偏折法对于复杂面型的测量，通常需要借助多次投影方法，因此和多次投影方法有同样的缺点。另外偏折法对曲率变化大的表面测量有一定的难度，因为条纹偏折后反射角的变化率是被测表面曲率变化率的2倍，因此对被测物体表面的曲率变化比较敏感，很容易产生遮挡难题。

▍立体视觉3D成像

  立体视觉一般情况下是指从不同的视点获取两幅或多幅图像重构目标物体3D结构或深度信息。

立体视觉三维成像示意图

立体视觉可分为被动成像和主动成像两种形式。

被动视觉成像依赖相机接收到的由目标场景产生的光辐射信息，常用于特定条件下的3D成像场合，如室内等光线变动不大的场景，或几何规则明显，控制点比较容易确定的工业零部件等。

主动立体视觉是利用光调制（如编码结构光、激光调制等）照射目标场景，对目标场景表面的点进行编码标记，然后对获取的场景图像进行解码，以便可靠地求得图像之间的匹配点，再通过三角法求解场景的3D结构。主动立体视觉的优点是抗干扰性能强、对环境兼容性强（如通过带通滤波消除环境光干扰），3D测量精度、重复性和可靠性高；缺点是对于结构复杂的场景容易产生遮挡等问题。

▍三维成像工业应用

基于结构光测量技术和3D物体识别技术开发的机器人3D视觉引导系统，可对较大测量深度范围内散乱堆放的零件进行全自由的定位和拾取。

相比传统的2D视觉定位方式只能对固定深度零件进行识别且只能获取零件的部分自由度的位置信息，具有更高的应用柔性和更大的检测范围。可为机床上下料、零件分拣、码垛堆叠等工业问题提供有效的自动化解决方案。

机器视觉3D引导系统框架

▍3D重建和识别技术

3D扫描仪可获准确并且快速地获取场景的点云图像，通过3D识别算法，可实现在对点云图中的多种目标物体进行识别和位姿估计。

 

▍3D重建和识别效率

 

▍多种材质识别效果测试

基于重建算法和识别算法，可对不同材质的零件进行稳定的重建和识别，即便是反光比较严重的铝材料及黑色零件都能获得较好的重建和识别效果，可适用于广泛的工业场景。

 

▍机器人路径规划

获得零件信息后，要成功拾取零件还需要完成以下几件事：

 

▍性能比较

类似于飞行时间相机、光场相机这类的相机，可以归类为单相机3D成像范围，它们体积小，实时性好，适合随动成像眼在手系统执行3D测量、定位和实时引导。但是，飞行时间相机、光场相机短期内还难以用来构建普通的随动成像眼在手系统，主要原因如下：

1.飞行时间相机空间分辨率和3D精度低，不适合高精度测量、定位与引导。

2.对于光场相机，目前商业化的工业级产品只有为数不多的几家，如德国Raytrix，虽然性能较好，精度适中，但价格贵，使用成本太高。

结构光投影3D系统，精度和成本适中，有较好的应用市场前景。它由若干个相机-投影仪组成的，如果把投影仪当作一个逆向的相机，可以认为该系统是一个双目或多目3D三角测量系统。

被动立体视觉3D成像，目前在工业领域也得到较好应用，但应用场合有限。因为单目立体视觉实现有难度，双目和多目立体视觉要求目标物体纹理或几何特征清晰。

  结构光投影3D、双目立体视觉3D都存在下列缺点：体积较大，容易产生遮挡。针对这个问题虽然可以增加投影仪或相机覆盖被遮挡的区域，但会增加成像系统的体积，减小应用的灵活性。

▍总结

虽然光学3D视觉成像测量方法种类繁多，但能够安装在工业机器人上，组成一种合适的随动成像眼在手系统，对位置变动的目标执行3D成像测量、引导机器人手臂准确定位和实施精准操作的方法有限。

从工业应用的角度来说，我们更关心的是3D视觉传感器的精度、速度、体积与重量。鉴于机器人末端能够承受的端载荷有限，允许传感器占用的空间有限，传感器在满足成像精度的条件下，重量越轻体积越小也就越实用。

对于随动成像眼在手系统，最佳3D成像方法是采用被动单目（单相机）3D成像方法，这样不仅体积小、重量轻，也解决了双目和多目多视图遮挡难题。