VIVE WAVE开发平台究竟如何？

2019年5月12日，Unity在上海举行了Unite Shanghai 2019，会上Unity大中华区商务经理肖蓓蓓女士与HTC  VIVEPORT中国区负责人谢礼安共同宣布Unity与HTC达成VIVEPORT VR内容分发平台合作。

谢礼安表示，“从去年开始，HTC便开始与爱奇艺、创维、大朋等一体机达成VIVEPORT平台合作。截止目前，VIVEPORT平台用户基数已有三到四倍的增长，所以我们希望有更多的开发者往VR方向发展，此次与Unity合作，就是给未来开发提供更好的工具，降低分发困难和时间成本。”

在随后的时间，Vive中国区开发者关系及内容团队负责人袁东为我们讲述了以及Vive平台的最新技术以及Vive SDK的沉浸式SDK的具体功能。

以下为演讲内容整理：

“今天，我想跟大家分享的是Vive的SDK，HTC在全世界能够制作出世界上最惊艳VR的设备，同样我们想把最先进的VR技术带给开发者，让开发者能制作出更惊艳的内容。在现在社会中，产品的体验是胜于产品的本身的，为了能有更多沉浸的体验，以下我将给大家介绍Vive SDK的沉浸四大功能。”

音效 

提起VR，大家的第一感受是视觉，其次便是音效体验。Vive提供的3DSP技术能够帮助开发者更好的去渲染音效，特别提供高精度的声音模拟，传统的录制过程中会使有两个麦克风来录制自然界的声音，但将这运用到VR中是远远不够的。

其中影响人类听觉的因素有非常多，除了距离这一因素，其实人的耳廓、耳道，甚至你的衣服的材质都会影响你声音的体验，所以我们提供比较高精度的，让大家在录制中能够更有观感体验。

Hi-Res 3D是耳机中高保真度的评判标准之一，而我们提供的SDK便采用第三阶的Hi-Res。我们以每五度是一个度量单位，并且提供方向设定，同时我们也提供了3D Audio中有物理叠加的体验，以及声音衰减等。

例如在虚拟环境中，双方隔着一堵墙，那么我们可以通过3D Audio模拟出隔绝，声音阻隔的效果。

混合现实 

下面重点介绍一下XR Engine，这个工具是对虚拟和现实世界的感知和理解体现。这个演示的RD，能够很好的展示我们现阶段XR达到的成绩，通过HTC Vive Pro的摄像头，能让用户在虚拟现实中看到现实的场景。

RD展示的效果便是在XR状态下，在现实世界中打开了一个隧道，而这一连接虚拟世界和现实的隧道，可以让你在这两个世界来回的走动，而且可以把一个物体从一个世界扔到另一个世界，这个过程还有碰撞的反馈，是不是很像哆啦A梦的梦幻体验？

如果开发者有一台Grght Eye和Left Eye的话，那么开发者可以尝试使用我们提供SEE-Through功能进行开发，这是一个很有趣的过程。

值得一提的是，用户在使用SEE-Through功能跟真实世界中交互体验时，我们可以获取用户的场景深度信息，这可以辅助开发者做出非常有意思的Demo。

而这一过程所需的便是3D Reconstruction，它能把现实的场景在虚拟中重现，从而重塑一个交互场景。

SRWorks SDK，它的功能就是感知现实世界。我们在做Srworks SDK的时候，主要的方向是为开发者提供更高精度的Mesh。所以我们提供的Mesh是通用的OPG文件，开发者首先做了可以生成OPJ的文件，再将这个打到具体的项目中，这时，开发者就能发现它有许多非常优秀的属性可以帮助你进行开发。

当你在使用设备扫描场景时，就Srworks SDK会读取物品的形状。而你只要根据这些信息，去设计有趣的内容就行了。也就是说我们可以实时的扫出整个世界，每一桢的叠加，可以真实的和世界做互动，这样你就可以实时的做一些反馈，这个非常有意思。

要做到实时反馈，便需要AI.Vision，它是你的AI认知工具。我们可以通过学习，将摄像头前面的物体进行感知识别。2D的方面它能识别9类的物体，举例说明，当你在VR中玩《Beat Saber》的时候，有人走到你面前，这时Vision就会有提醒的在画面中给予提醒，以此避免发生一些危险的事情。

交互 

我相信大家很多人，在第一次体验VR的内容中，可能第一个内容可能是深海奇遇，当你站再一个沉浸甲板的时候，你可能看到海底混沌海水的时候，你第一个反应是伸出双手感知世界，这是人跟世界最自然的一种接触，就是通过双手。

我们北京的研究团队一直致力于这种交互的研究，这一交互系统，可以在MR环境下提供最基本的左手跟右手的识别，我们在一基础上定义了五种手势，未来也会有更多的手势可以识别出来。此外它能够提供手的骨骼信息（2D、3D），大约有21个点。

这是我们一个工程师在演示Demo，他的双手被识别出来，而且每个手的关节，21个点清晰的识别出来，而且是实时的。我们单个摄像头提供3D信息，是有一点困难，所以暂时使用Vive，是不支持3D的信息捕捉。此外，移动设备VIVE FOCUS，因为一体机算力的受限，目前也没法达到这一效果，但在未来，我们也会提供势骨骼捕捉支持。

我们的SDK支持最流行的Native Library、Java AAR Plugin等，这些工具都可以开发出内容。我们有一个应用叫Vive Paper，通过这个应用可以利用手势，用最自然的方式读你想要看的杂志和书籍。

为了让开发者更加清楚的了解用户的行为，我们设计了SRAnipal工具。这是Eye tracking（眼球追踪技术），这个技术可以能追踪开发者眼球注视的点。这时，我们可以通过SRAnipal来清楚的了解到用户在内容体验的整个过程中所关注的点。

此外我们支持Lip tracking（嘴唇捕捉），通过外置设备我们可以通过嘴唇来识别出不同的表情。同时还有Movement tracking（运动追踪）和shape tracking（形状捕捉），我相信听到这里在座的人应该会很开心，因为我们正在朝着《黑客帝国》的方向发展。

SRanipal，我们想感知用户的表达，还有预测他，现在我们能够提供的是Movement tracking和shape tracking，我相信在座的人应该很开心，像《黑客帝国》，我们朝着这个一步一步做。未来会我们还会识别出更多的自然界的形态，包括光照。例如开灯、关灯，光照灯源的方向等，将环境中的信息，反馈到XR中。

WAVE平台 

下面我向大家介绍Vive WAVE平台，现在市面有400个不同的平台和不同种类的VR设备。对于开发者来讲，这么多的设备，他们就会有很多的抱怨，相信不少开发者都有做内容Porting（移植）的烦恼，尤其做安卓的开发者。因为业界缺乏这样的标准，所以我们的WAVE平台很希望能成为像Unity一样的多平台支持，可以不用很多的优化，你只需要关注的就是把你的精力用在创造更加惊艳的内容上，这是我们的愿望和梦想。

这是WAVE的Scope，如果你是第三方的兼容硬件的开发者，你可以用DEVICE MAKER，做开发。这个是WAVE的DIAGRAM，它是一个Base在安卓的平台上，但是是可以安装的平台，只要你是符合我们标准的安卓的设备，就可以安装WAVE。

值得一提的是，WAVE的Main Features是高阶的开发工具。使用Single pass rendering 以后，能够实现双眼的桢级渲染。画面的渲染会以用户的注视点来进行取舍，以高分辨率去渲染关注点，而用户没有关注到的画面会以一个比较低的分辨率来进行渲染。

通过以上所述的SDK和VIVEPORT两种方式，可以帮助用户生成最后的content，且这一结果不会受到盗版的影响。

我的分享就到这里，非常感谢大家对Vive还有VIVEPORT的支持，在此也呼吁大家通过developer.vive.com去下载我们的开发平台。到时，我们都会有专家的解答和及时的解答。