Oculus VR持续创新开拓更广阔的VR世界

从选择合适的算力、冷却系统，到将所有组件装进一个很小的外壳中，同时还要降低成本，虚拟现实（VR）系统的设计人员面临许多挑战。最主要的挑战也许是人机工程学，即确保用户头戴设备的舒适性。许多VR在设计中都考虑了外形尺寸，因为如果VR设备太重或使用中过热，用户根本就不会用它。

在Facebook从事Oculus VR产品开发的VR硬件产品经理Prabhu Parthasarathy认为，人机工程学在VR设计中“至关重要”，它需要硬件、软件和技术的完美结合。

Parthasarathy说：“在设计任何产品时，我们都不会孤立地来看某个组件，而是从整体上考虑我们想要获得的产品体验，包括其独特的用户和用例。”

Parthasarathy同时也承认，只有当软件和硬件结合时才会产生“魔力”。

“魔力表现在两个方面，一是编写软件，使它提供魔法般的体验，这是非常困难的部分；而另一部分则是要符合人体工程学，将一切都完美契合在设备中，让用户忘记硬件，感受虚拟世界。”

从头说起

VR系统有几种类型，从PC专用VR系统到VR一体机。PC专用VR系统中的头戴设备是连接到PC的，所有游戏和图形处理的繁重工作都由PC完成；而VR一体机则在头戴设备中运行所有软件。

Oculus VR就是VR一体机的典范。Oculus公司曾在2012年提出，要让所有人都买得起VR。两年后，Facebook以20亿美元的价格收购了Oculus，尽管那时它只有一个头戴设备原型。

Parthasarathy解释道，Facebook看到了机会，他们认为，人们最终将只在虚拟的世界和社区中进行交流，人与人之间的联系会自然发展到这种情形。

Oculus公司的第一款产品是PC VR系统，Oculus Rift，它让用户可以在PC上运行专为VR体验而开发的游戏。使用这种系统，游戏开发人员就不会因为游戏大小或图形种类而受到限制；借助外部传感器，系统可以确定玩家在现实世界中的位置，并将其转换至虚拟世界。

Oculus公司随后推出了Oculus Go，这是该公司第一款不受限制的VR一体机。其软件完全在头戴设备中运行，但它受限于3自由度（DoF）方向追踪。3DoF系统可以追踪三个轴，在VR头戴设备中，它可以检测玩家向左/向右移动、或上下左右旋转头部的动作。

但是，它不能追踪前进和后退，或者蹲下与站立。只有6DoF才能实现这些动作的追踪，而这对系统软硬件和成本都有很大影响。6DoF检测六个轴上的位置：向前/向后、向左/向右和向上/向下。这样的追踪系统可能很复杂，需要额外的硬件和软件，从而增加了成本。

Oculus Quest是该公司最近的创新产品，是其首款采用触控控制器的6DoF VR一体机。它将之前的两种系统很好地结合起来，需要硬件和软件团队之间的紧密合作。

VR系统组成

Parthasarathy以Oculus Quest VR系统为例，向我们综合介绍了VR系统设计的关键元器件。

像许多产品一样，计算系统的核心是处理器，Oculus的工程团队选择了高通移动芯片组骁龙835作为其计算系统的核心。骁龙835载有8个内核，时钟频率高达2.45 GHz，并配有Adreno 540 GPU。Oculus在设计该系统时使用了一个新型冷却系统，CPU可以在更高的时钟频率下运行，从而优化了芯片性能。稍后我们再详细介绍这个冷却系统。

如果说处理器是系统的核心，那Oculus最大的亮点就是其追踪系统。

为使追踪工作正常进行，Quest设计师开发了Oculus Insight内向外追踪系统，这是该公司最具竞争力也最具创新的部分。由于头戴设备中的传感器（摄像头）能够检测到控制器的移动，用户在现实世界中的动作才得以即刻反映在虚拟世界中。

Oculus Insight追踪系统使用了大量来自惯性测量单元（IMU）、超广角摄像头和红外LED的数据，以追踪VR头戴设备和控制器的6DoF位置。

Parthasarathy说，它是一个复杂的系统，由传感器、IMU等硬件以及传感器融合、计算机视觉算法等软件组成。

Oculus Insight 内向外追踪系统的核心是同步定位与地图构建（SLAM），它利用计算机视觉算法“融合”由多个传感器输入的数据，以确定目标在不断更新的数字地图中的位置。它还使用其他传感器数据，例如来自头戴设备和控制器中IMU加速度和速度数据，这些数据在移动芯片组上进行实时处理。

Oculus Insight包含四个超广角传感器，用于分析头戴设备的外部环境；它还采用计算机视觉算法来实时追踪精确定位。该系统全方位追踪玩家的移动，并精确定位两个手持控制器和头戴设备的位置。

Parthasarathy说：“Insight利用传感器输入的信息创建玩家环境的3D地图，将玩家的位置移动精确地转换至VR，同时确保玩家安全地置身游戏限定的空间边界以内，从而获得奇妙的沉浸式体验。”

数字信号处理的优化包括地图的异步更新，它根据用户环境中背景的变化来更新地图。IMU独立运行，其输出数据存储在内存缓冲区中，以最大限度减少系统延迟。

接下来说说视觉系统，也就是显示器和光学器件。Oculus在一些产品中采用了LCD技术， Quest则使用OLED技术。OLED显示器可以提供72Hz的刷新频率，以及1600×1440的每眼分辨率。Quest还提供镜头间距调节功能，以增加视觉舒适度。

Parthasarathy说：“要得到身临其境的VR体验，其关键因素之一就是镜头。Oculus Insight采用的菲涅耳透镜非常特别，它可以根据头戴设备的尺寸和形状以及想要的各种体验进行定制。”

“在为Quest这样一个无线头戴设备选择合适的显示屏时，我们考虑的是，功率要比较低，视觉效果还要出色，OLED显示屏与我们的一流镜头相结合便可完美满足这些要求。在Oculus Go中，我们也使用了相同的显示屏。” Parthasarathy补充道。

再来说说无线器件。由于Oculus Quest是独立系统，因此使用了Wi-Fi。除此之外，它还需要其他通信器件，特别是对于两个手持式控制器，需要近乎实时地与头戴设备进行通信。

实时功能是一个巨大的挑战，它减少了将玩家在现实世界中的动作转换至虚拟世界的延迟。

Parthasarathy说：“ VR的魔力在于，玩家在现实世界中的身体移动，几乎可以即时呈现在虚拟世界中。如果现实世界中的动作与虚拟世界中所看到的动作之间存在时间差，当体验太糟时玩家便会弃之不用。”

为了减少延迟，Quest设计人员开发了他们自己的协议，以实现控制器和头戴设备之间的通信。蓝牙低功耗（BLE）是延迟最小的协议之一，其延迟时间约为7.5ms，“与之相比，Quest头戴设备与控制器之间的通信延迟时间约为2.5ms，这非常棒。”Parthasarathy表示。

再来说一说功率。Parthasarathy介绍，VR的一个关键是要带给人们无阻碍的体验，这意味着电池续航时间要足够长，让他们完成想做的事情。

这并不是说在设备中放一块大电池就可以了，Parthasarathy 补充道，“我们必须使用容量足够大的电池来提供这些体验，但它又不能太重，以免降低设备的舒适性。”

Parthasarathy说Quest采用了定制电池组，但并未透露细节。可充电电池技术并不是什么独特的技术，不过电池的大小必须符合头戴设备的要求。

文档显示，Quest采用3648mA可充电锂离子电池组，额定功率为14W。双电芯电池的标称电压为3.6 V，重约70g。

Parthasarathy表示，Oculus主要使用现成技术，这通常需要设计人员与器件供应商紧密合作。无论是电池、显示屏还是其他器件，为了满足需求，通常还需要进一步定制。

例如，用于追踪系统的许多元器件都是现成的器件，如红外LED。但在其他情况下，还需要对器件（如IMU）进行一些调整。

Parthasarathy说：“我们采用的IMU通常也是现成的，但由于对追踪的要求非常严格，所以有时候我们会去找供应商，在他们的产品规格90％都符合我们需求的情况下，请他们让剩下的10％更加符合我们独特的系统要求。我们并不想为每一个功能定制硬件，所以会尽量尝试利用现成的元器件。”

他说：“Oculus Quest中没有多少元器件可以拿来就用，找到供应商只说一句给我们一些零件，然后将它们集成到系统中，这样是行不通的。通常，我们需要针对这些组件，例如光学器件和显示屏，与供应商进行非常密切的合作。”

另一个例子是系统冷却，这是VR系统的一大设计挑战。Oculus Quest结合了风扇、散热器和非常“新颖的架构”，实现了良好的散热，从而避免设备发烫。

它采用主动式风扇冷却系统来调节温度，使Quest可以在高得多的时钟频率下持续工作，从而更有效地利用高通骁龙835 SoC。除主动式混合风扇技术外，该系统还包括一个热管以及定制散热通道。

一旦满足了硬件要求，接下来的重要任务便是推动Oculus产品的软件创新。 Parthasarathy提到，要创造更诱人的新体验，首先要令硬件全面满足性能指标，然后再利用软件来进行突破。

“软件创新可以帮助我们将硬件潜力发挥到极致，同时为玩家提供越来越好的体验。” 他说，“这是我们关注的重点。”

Parthasarathy举例说，最初在Rift S上提供的透传（Passthrough+）功能，就可以让玩家在VR里看到周围环境的实时立体校正视图。例如，玩家在戴着头戴设备的情况下，能够“透过”传感器看清周围的环境。

“在Quest上实现这一功能，得益于先进的高性能图像处理和3D计算技术的支持。一旦超出游戏空间的边界，Passthrough+即会开启，确保玩家能够轻松返回。”

整体权衡

人体工程学是一个重要的设计概念，在很多情况下，它与VR系统元器件的选择密切相关。为了获得最佳设计，要综合考虑所有因素，对VR系统的所有关键元器件进行设计权衡与折衷。

Parthasarathy说，Oculus Quest设计实际上是要找到一种恰当的平衡，一方面要获得完全沉浸式的体验和舒适感，另一方面还要采用合适的硬件，使追踪功能完善、电池寿命足够长、显示效果足够好。

他说，试想一下，“你是想要一个戴在头上的设备，还是想要一个具有同样沉浸体验的太阳镜呢？恐怕每个人都想要太阳镜这样的设备。可惜的是，像太阳镜这种大小的设备，不太可能在满足处理、电池以及丰富的光学和显示技术的同时还具有足够的舒适度。”

Parthasarathy指出：“最大的挑战并不是人体工程学本身，而在于要提供吸引人的体验就必须考虑系统的方方面面。”

“如果只是想改善人体工程学很容易，就好像压一下单侧杠杆。但这样做会影响设备的其他方面，因此，一切都要取得折衷。”

最初的VR是将所有东西都放在PC上，现在设计人员正尝试不依赖PC的大功率、显卡或大型冷却系统，却能获得类似的体验。

“为了在独立式VR头戴一体机中获得类似的体验，需要进行大量的工作，还需要非常独特的技术，例如采用固定注视点渲染技术，我们可以巧妙地减少工作量，而开发人员却能够充分利用GPU制作出色的游戏。”Parthasarathy说。

“如果你问一问系统工程师就会知道，他们在冷却、计算、帧率以及运行频率之间进行了大量的折衷。”他说，“这种折衷太多了，我们会一点一点地减少。”

目前Oculus在努力改善图形和游戏体验，让玩家享受与PC媲美的体验。其最近的一项创新是系统中不再使用控制器。去年底，Oculus开发了一个SDK，玩家无需控制器或其他外围设备，而是使用自己的双手来控制，这是前所未有的游戏体验。

Quest的计算机视觉团队只需在Quest上使用单色摄像头，再利用深度学习就能了解玩家手指的位置。Oculus解释说，这项技术创建了一组3D点，可以准确呈现玩家在VR中的手和手指的移动。

在实现手势追踪时，软件发挥了重要作用。Parthasarathy说：“通过软件创新，我们可以开启全新的输入和交互模式，而无需任何新硬件。对移动芯片组来说，这是一个巨大的挑战。”

“为了实现这一功能，我们的计算机视觉团队开发了一种新方法，利用Quest内置的单色摄像头，通过深度学习来了解玩家手指的位置，而不需要主动深度感知摄像头、额外的传感器或者处理器。”

“相反，将深度学习与基于模型的追踪相结合，可以预测用户手和手上各点的位置，然后在3D模型中重建用户手和手指的‘姿势’。”他说，“而这一切都在移动处理器中完成，不必耗用属于用户应用的资源。”

从长远来看，VR设计师仍然面临许多设计挑战，例如设计外形更小、更舒适的头戴设备，同时仍提供相同的VR体验以及更长的电池寿命。其中有些是由用户驱动的，例如，大约400至500美元的合理价位。

Parthasarathy说：“我们正努力寻找最有效的方法来持续改善用户体验，满足用户的需要，同时突破技术限制使之更易实现。我们可以用2500美元或3000美元的头戴设备解决这些问题，但这并非我们的初衷。我们希望大多数人能用VR。”