VR立体显示技术/场景建模技术/自然交互技术解析

　　VR是一种综合性的技术，由三大模块组成，分别是立体显示技术、场景建模技术和自然交互技术，如图所示。

　　

　　本文将向大家简单介绍以上三种技术的相关知识。

　　【1】立体显示技术

　　立体显示技术是以人眼的立体视觉原理为依据的。因此，研究人眼的立体视觉机制，掌握立体视觉的规律，对设计立体显示系统是十分必要的。如果想要在虚拟的世界中看到立体的效果，就需要知道人眼立体视觉产生的原理，然后再用一定的技术通过显示设备还原立体三维效果。

　　（1）HMD头戴显示技术

　　HMD头戴显示技术的基本原理是让影像透过棱镜反射之后，进入人的双眼在视网膜中成像，营造出在超短距离内看超大屏幕的效果，而且具备足够高的解析度。因为头戴显示器通常拥有两个显示器，而两个显示器会由计算机分别驱动向两只眼睛提供不同的图像。这样就形成了双眼视差，再通过人的大脑将两个图像融合以获得深度感知，从而得到立体的图像。

　　主流的沉浸式虚拟现实头戴设备基本上都是基于双显示屏技术的，包括Oculus Rift、HTC Vive、Sony Playstation VR、3Glasses、蚁视AntVR等。

　　（2）全息投影技术

　　3D全息投影技术可以分为投射全息投影和反射全息投影两种，是全息摄影技术的逆向展示。和传统的立体显示技术利用双眼视差原理不同，3D全息投影技术可以通过将光线投射在空气或者特殊的介质上真正呈现3D的影像。人们可以从360度的任何角度观看影像的不同侧面，得到与观看现实世界中物体完全相同的视觉效果。

　　目前我们经常看到的各类表演中所使用的全息投影技术都需要用到全息膜这种特殊的介质，而且需要提前在舞台上做各种精密的光学布置。虽然看起来效果绚丽无比，但成本高昂，操作复杂，需要专业训练，并非每个普通人都可以轻松享受到。从某种程度上来说，目前的主流商使用的全息投影技术只能被称作“伪全息投影”。

　　（3）光场成像技术

　　神秘的Magic Leap采用了所谓的“光场成像”技术，从某种意义上来说可以算作“准全息投影”技术。其原理是用螺旋状震动的光纤来形成图像，并直接让光线从光纤弹射到人的视网膜上。简单来说，就是用光纤向视网膜直接投射整个数字光场（Digital Lightfield），产生所谓的电影级现实（Cinematic Reality）。

　　【2】场景建模技术

　　为了打造完美的虚拟现实体验，我们需要从零开始构建一个位于异度空间的虚拟世界，或是将现实生活中的场景人物转化成虚拟世界的一部分。那么这种虚拟世界又是如何构建的呢？

　　目前来说，主要通过3D计算机建模和3D实景扫描等方式来实现。

　　（1）3D计算机建模

　　先从大多数人比较熟悉也都接触过的3D计算机建模说起。简单来说，3D计算机建模就是通过各种三维软件在虚拟的三维空间中构建出具有三维数据的模型。这个模型又被称作3D模型，可以通过名为“3D渲染”的过程以二维的平面图像呈现出来，或是用在各种物理现象的计算机模拟中，或是用3D打印设备创造出来。

　　除了游戏之外，3D计算机建模还广泛应用在影视、动画、建筑设计和工业产品的设计中。目前在游戏、影视和动画领域最常用的3D建模软件包括3Ds Max、Maya、Cinema4D、Blender、Softimage等，而在建筑和工业设计中最常用的则是AutoCAD、Rhino等软件。

　　（2）3D扫描

　　在构建虚拟现实世界的时候，除了使用常规的3D建模技术和实景拍摄技术，我们还可以使用3D扫描技术将真实环境、人物和物体进行快速建模，将实物的立体信息转化成计算机可以直接处理的数字模型。

　　3D扫描仪就是利用3D扫描技术将真实世界物体或环境快速建立数字模型的工具。3D扫描仪有多种类型，但通常可以分为两大类：接触式3D扫描仪和非接触式3D扫描仪。目前看来，每种3D扫描技术都存在一定的局限性和特点。

　　总的来说，3D扫描技术目前还处于发展的早期阶段，仍然欠缺方便易用的消费级解决方案。

　　（3）SLAM

　　在AR/MR设备中，为了让真实世界与虚拟世界完美地融合在一起，需要使用即时定位与地图构建技术（SLAM）。目前，微软的HoloLens设备就支持SLAM技术。而在AR SDK层面上，Wikitude SDK和苹果最新推出的ARKit均实现了对SLAM的支持。

　　【3】 自然交互技术

　　随着AR/VR时代的来临，传统的交互方式已经远远不能满足人们的需求。因此，模仿人类本能的自然交互技术成为虚拟现实技术的重要基础。要实现完美的沉浸感，虚拟现实的世界中需要用到哪些自然交互技术呢？

　　（1）动作捕捉

　　为了实现和虚拟现实世界中场景和人物之间的自然交互，我们需要捕捉人体的基本动作，包括手势、身体运动等。实现手势识别和动作捕捉的主流技术分为两大类，一类是光学动作捕捉，另一类是非光学动作捕捉。光学动作捕捉包括主动光学捕捉和被动光学捕捉，而非光学动作捕捉技术则包括惯性动作捕捉、机械动作捕捉、电磁动作捕捉甚至超声波动作捕捉。

　　目前有多个厂商在使用类似Kinect的3D光感应技术提供手势识别和姿势控制的解决方案，也便于用户使用。采用类似技术的产品或解决方案还包括Intel Realsense、Softkinetic、Leap Motion、Google Project Tango等。但总的来说，3D光感应技术还属于前期的探索阶段，并没有非常成熟的。

　　（2）眼动追踪

　　眼动追踪的原理其实很简单，就是使用摄像头捕捉人眼或脸部的图像，然后用算法实现人脸和人眼的检测、定位和跟踪，从而估算用户的视线变化。目前主要使用光谱成像和红外光谱成像两种图像处理方法，前一种需要捕捉虹膜和巩膜之间的轮廓，而后一种则跟踪瞳孔轮廓。

　　（3）语音交互

　　在和现实世界进行交流的时候，除了眼神、表情和动作之外，最常用的交互技术就是语音交互了。一个完整的语音交互系统包括对语音的识别和对语义的理解两大部分，不过人们通常用“语音识别”这一个词来概括。语音识别包含了特征提取、模式匹配和模型训练三方面的技术，涉及的领域很多，包括信号处理、模式识别、声学、听觉心理学、人工智能等。

　　相比其他几种交互技术，语音交互技术更多的属于算法和软件的范畴，但其开发的难度及可提升的空间却丝毫不逊于任何一种交互技术。

　　（4）触觉技术

　　触觉技术又被称作所谓的“力反馈”技术，在游戏行业和虚拟训练中一直有相关的应用。具体来说，它会通过向用户施加某种力、震动或是运动，让用户产生更加真实的沉浸感。触觉技术可以帮助在虚拟的世界中创造和控制虚拟的物体，训练远程操控机械或机器人的能力，甚至是模拟训练外科实习生进行手术。

　　（5）嗅觉及其他感觉交互技术

　　在虚拟现实的研究中，对视觉和听觉交互的研究一直占据主流位置，而对其他感觉交互技术则相对忽视，但仍然有一些研究机构和创业团队在着手解决这些问题。

　　（6）脑机接口

　　脑机接口（Brain Computer Interface， BCI）就是大脑和计算机直接进行交互，有时候又被称为意识-机器交互、神经直连。脑机接口是人或者动物大脑和外部设备间建立的直接连接通道，又分为单向脑机接口和双向脑机接口。单向脑机接口只允许单向的信息通讯，比如只允许计算机接受大脑传来的命令，或者只允许计算机向大脑发送信号（比如重建影像）。而双向脑机接口则允许大脑和外部计算机设备间实现双向的信息交换。
责任编辑人：CC