到底什么是3D视觉技术？

近年来，3D视觉技术在众多领域飞速发展，除了智能机器人、自动驾驶、无人机等无人系统，在我们身边的AR、VR、智能家居，以及智能手机中通过扫描人脸三维结构实现手机解锁、手机支付等应用。除此之外在工业领域中，3D视觉技术可以进行纳米级的工业扫描、工业检测等，实现大场景三维重建，助力工业智能化发展。从城市到工业，3D视觉技术已经成为智能终端必不可少的AI“慧眼”。到底什么是3D视觉技术？我们一起往下看。

Industry

3D视觉技术与3D传感器

3D视觉是一个多学科相融合的技术，可以总结为：计算图形学+计算机视觉+人工智能=3D视觉。3D视觉技术是通过3D摄像头采集视野空间内每个点位的三维座标信息，通过算法复原获取三维立体成像，不会轻易受到外界环境、复杂光线的影响，与2D成像技术相比更稳定，体验感更强，安全性更高。

3D视觉技术结合深度学习算法，在众多领域取得了突出效果，其主要研究内容包括：

3D感知：3D感知能够捕捉到现实世界中的人、车、物、空间的三维信息，应用于机器人/机械臂、自动驾驶、无人机等场景；  

位姿估计（Pose estimation）: 位姿估计在计算机视觉领域扮演着十分重要的角色。在使用视觉传感器估计机器人位姿进行控制、机器人导航、增强现实等方面都有极大的应用。位姿估计这一过程的基础是找到现实世界和图像投影之间的对应点，然后根据这些点对的类型，如2D-2D, 2D-3D, 3D-3D，采取相应的位姿估计方法。位姿估计应用于机器人定位导航、VPS（(Virtual Private Server ）等场景；  

*位姿估计  图源：网络

3D重建: 大规模场景的3D重建，被应用于智慧城市、智慧文旅、混合现实等场景，此外在人脸人体等部位的3D重建和关键点检测识别技术，也被广泛应用于游戏、动漫影视中内容的制作等。

3D传感器作为3D视觉的眼睛，通过多个摄像头与深度传感器的组合能够获得物体三维位置及尺寸等数据，实现三维信息采集。目前3D传感器主要有双目相机、结构光相机及TOF（Time of flight）相机。

双目相机的原理与人类视觉感知过程相类似，是从两个不同位置的相机去观察同一事物，获取在不同视角下的感知图像，然后通过三角测量原理计算图像的视差，以此得到景物的三维信息。它的缺点在于对环境光照非常敏感，当光线变化时会导致精准度变低。  

*双目立体视觉测量示意图  图源：网络

结构光相机是将激光散斑图像投射到物体表面，由摄像头接收采集物体表面反射的信息，根据物体造成的光信号变化计算出物体位置和深度信息，识别精度达到1mm。我们在商超常见的刷脸支付、社区刷脸门禁等均为3D结构光技术，更为适合应用在近距离面部识别验证等场景。  

*3D结构光原理  图源：网络

TOF（Time of flight）相机是通过专用传感器，捕捉近红外光从发射到接收的飞行时间差来判断并计算出物体的距离信息，与结构光相比，TOF可进行远距离测量，更适合远距离应用且算法较为简单。  

*用于距离测量和目标检测的TOF系统  图源：网络

Industry

3D视觉技术与2D视觉技术的区别

了解3D视觉技术后，那么2D与3D的区别在哪里？2D视觉技术根据灰度或彩色图像中对比度的特征提供结果，可以用来识别零件并创建动态适应零件位置、角度和尺寸的检测工具，从而实现零件移动的稳定测量，是处理零件变化的关键。但2D技术无法提供更精准的诸如物体平面度、表面角度、部分体积等的识别，3D视觉技术的出现弥补了2D的不足。

举个例子，当我们在网上搜索二手房信息时，2D成像仅能记录视场范围内的色彩信息，但对于房屋内的户型、大小、高低的精度信息描述却难以记录，而基于3D视觉传感器采集的信息，不仅有色彩信息，还增加空间几何尺寸信息，更直观地将房型的3D模型精准呈现。

*2D与3D效果图的区别   图源：网络

Industry

3D视觉技术的应用情况

3D视觉技术产品在经过长期的研究发展后，在以下领域实现推广应用，并在国民经济中发挥重要作用，赋能各行各业实现数字化、智能化升级。

生物识别领域     生物识别是一种通过计算机、光学、声学、生物传感器等多个技术领域密切结合，利用人体固有的生理特性（如指纹、人脸、虹膜）和行为特征（如笔迹、声音、步态）进行个人身份鉴定。在该领域中，通过3D视觉感知技术实现的生物识别方法如支付宝“蜻蜓”3D刷脸支付，以及通过搭载3D人脸识别实现的门锁门禁、地铁车站刷脸闸机等，未来3D人脸识别还将在更多场景为用户提供便利服务，让智慧城市生活成为现实。  

AIoT领域

AIoT（人工智能物联网）=AI（人工智能）+IoT（物联网）。3D视觉感知技术在AIoT领域的应用包括3D空间扫描，如贝壳VR看房，通过3D视觉传感器阵列组成的3D房屋扫描设备，可快速对房屋内部进行高精度三维重建，更精准地还原房屋信息；服务机器人，即在餐厅用机器人代替服务员传菜，通过3D视觉传感器帮助机器人高效完成人脸识别、距离感知、避障、导航等功能；AR交互，即在现实场景中打造虚拟人物，通过3D视觉感知技术可帮助AR设备对周围环境进行三维重建，使得虚拟的立体影像叠加在现实场景中，同时使虚拟形象识别现实人的动作，从而进行互动；此外在体感健身中，通过搭载3D视觉传感器的设备对人体动作进行捕捉、识别，让人们足不出户即可体验到专业健身教练的指导；在体育比赛中，3D感知技术对快速移动的人体与物体进行识别、定位，实现对高速运动中物体轨迹的3D重现，辅助裁判评分。

消费电子领域

3D视觉技术在消费电子领域主要应用在智能手机等终端设备中。在智能手机品牌系列中，苹果、华为、OPPO、魅族等分别尝试在前置、后置视觉传感器中使用3D结构光与TOF技术，从而实现手机的人脸解锁、支付、AR互动、AR试妆、美颜拍照等功能，使用户达到最佳体验感。

工业领域

在工业领域自动化生产中，最早2D视觉技术较为普遍，然而2D视觉一般只能解决平面上的问题，而对汽车、半导体、大型钢材等行业的高精度需求，2D视觉技术显然难以满足。3D视觉技术对环境光变化不敏感且更加精准，在产线中能够快速检测移动的物体并获得形状、空间坐标等信息，常搭载2D协同运行，因此在工业领域发挥着高效作用。工业3D视觉主要应用于三维扫描、微小形变测量、工业机器人的定位与导航等。

* 

汽车领域

我们在驾车行驶时，汽车辅助驾驶的实现需要感知车身周围3D信息的360度环视系统。当通过狭窄道路时，覆盖车辆周边所有视场范围的4个广角摄像头能够对同一时刻采集到的多路视频影像，处理成一幅车辆周边360度的车身俯视图，并在汽车中控台上显示，帮助驾驶员规避障碍物安全驾驶；此外，3D视觉感知也可实现车外车主身份识别，通过红外3D人脸识别解锁启动系统，在身份确认后即可无感启动车辆。

3D视觉技术的快速发展，无论在涉及衣食住行的民用领域，还是在创新链带动产业链快速发展的工业领域，都对提升终端智能化程度极为重要。未来，3D视觉技术将会助力各类终端更好地看懂三维世界，使其通过语音感知交互能力、视觉感知交互能力以及各种AI决策分析能力，拥有“嘴巴”“耳朵”“眼睛”和“大脑”与人类进行互动。

随着人工智能等技术的不断提高，国产制造业也迎来了曙光。第六镜科技以AI技术赋能工业数字化转型，基于机器视觉技术推出“一种热态钢轨轮廓测量及缺陷检测装置”、“数字化煤仓”、“炉辊结瘤检测仪”等智能硬件设备，提供了AI加持的工业机器视觉解决方案，助力企业降本增效提质，加快智慧工厂的智能化升级。

审核编辑 ：李倩