自己变成操作系统是什么感觉?让AR告诉你

将AR技术与工作结合，你自己就是操作系统…

所谓的虚拟现实(VR)拥有一个环绕头戴式设备用户视野的完整环境，整个世界的呈现以及让人沉浸的方式，让观看者能以第一人称或是旁观者的角度参与其中；而扩增实境(AR)则是呈现头戴式设备用户所在之真实世界场景，但添加、或说扩增了计算机产生的影像，让观看者感觉那好像是现实世界场景的一部分。

无论是VR或AR，带给观看者的感官体验都很难形容；只有2D平面的文字或是屏幕，无法传达3D空间的运动。为此，头戴式设备业者Meta的创办人暨首席执行官Meron Gribetz在他去年2月发表的TED专题演说中(参考下方YouTube视频)，让听众能充分欣赏AR的艺术并展示了利用该技术助力医疗研究的方案。

Gribetz描述他在2011年冬天美国纽约市的某个酒吧里经历的灵机一动，当时他坐在一个同事对面讨论事情，突然那个同事的手机响了、他接起电话，于是那支手机打断他们的对话分散了注意力；但在房间的另一边，有人是拿着手机分享Instagram照片给旁边的朋友看。所以只是因为手机显示屏幕朝着不同的方向，Gribetz与他的同事是被隔开，酒吧另一边的小团体则是更为贴近。

从这里他想到，我们应该利用机器把我们的工作、甚至是概念性的工作在现实世界呈现，而不只是将它们紧紧捂在自己手里，无论是用智能手机或是台式机；也就是说，我们可以环绕着以全像(holographic)方式虚拟出的营火，与众人会面、分享与合作。

在Gribetz的TED专题演说视频里，显示美国加州大学旧金山分校(UCSF)的Adam Gazzaley博士，在他的实验室里以直观的自然手势存取、操作并分享3D数字全像信息；他是利用Meta的Meta 2头戴式设备开发工具包之神经科学驱动接口(neuroscience-driven interface)，进行“玻璃大脑(glass brain)”研究项目。 最近于美国旧金山举行的穿戴式科技大会(Wearable Tech Conference)上，笔者有机会从Meta首席技术官Soren Harner那里更进一步了解这种简单直观接口背后的辛苦工作；他表示：“我们的任务是透过将显示器、嵌入式系统、光学组件、传感器、计算机视觉以及同步定位与建图(simultaneous location and mapping，SLAN)整合在一起，把AR推向下一个阶段，然后将有所这些先进技术装进手机或头戴式设备。”
 

光学技术的突破

在光学技术方面的突破，包括完整的90度视野以及2,560 x 1,440高dpi显示。在可看透的头带显示器的上方区域分辨率较高，让用户能更清楚看到信息；下方的工作区域则是较宽广，以适应人们在工作时用双手操作物体的方式，而这部分的显示器也是透明的，好让使用者能与同事对视。

Meta 2扩增实境(AR)头戴式设备 （来源：Meta）

Meta 2的较宽广视野以及传感器数组，让用户能像是对待实体物品一般，看见、抓取以及移动全像物品，就像是上面的视频中Gazzaley博士所做的；与全像互动的直接手势，完全是自然而且直观，不需要任何学习曲线。

Harner表示，在工程技术这端：“我们积极建立自己的电子工程师团队，他们需要在集合传感器、光学组件、成像、追踪技术与计算机视觉的嵌入式系统领域有丰富背景；”他在专题演说中并指出，使用Meta的系统：“用户自己就是操作系统。”

他进一步解释：“这意味着我们透过将内容空间化(spatializing)于使用者面前，降低了复杂度；而不是将内容以层层套迭的方式来放置，像是传统操作系统里的文件管理器那样。这改善了工作内存，并减轻了机器的负担。”

这也是一直以来人类在3D空间中使用实体工具的模式，我们会伸手拿取而且将那些工具到处移动；换句话说，要让处理过程更快、更精确且有效率，输入与输出──也就是思考/行动以及导致的结果/反应──必须要最大化。

传统2D空间的操作系统采用一条抽象链(a chain of abstraction)，使得思考与行动之间脱节(disconnect)，也为工作内存带来难以承受的负担。因此Meta的技术能允许在用户实体工作空间的实体工具旁边，建立AR工具以组织数字内容。

Harner表示：“借由让用户有机会能让实体与数字工具在身体周遭相同的3D、实体环境中共存，而不是以抽象语意架构的形式呈现，我们能实现在该空间中更自然的组织工具方式，降低认知循环以及系统负担，因此将用户体验推向一个全新层次。”

允许直观运动为运算建立了一个阻力最小的神经通路，以及全新的零学习曲线方法，用户现在能用数字设备将自己的肢体向实体世界伸展；因为那就是我们一直以来做事情的方法，所以不需要学习。

传统的计算机接口要求我们在遇到每一种新操作系统时，就得学习新的抽象概念以及阶层式的架构，或许这是在2D平面我们能做到的最佳方法；但透过利用我们周遭的3D区域，以空间花方式来安排内容，就具备能降低存取信息以及与之互动的复杂性。总而言之，AR技术具备能让所有使用者朝着更强、更直观生产力发展的庞大潜力。