全面了解Apple Vision Pro中的传感器

 

据麦姆斯咨询报道，苹果（Apple）公司近日在全球开发者大会上发布了首款混合现实（MR）头显Apple Vision Pro。这款售价高达3499美元的设备，旨在取代用户的智能手机、笔记本电脑、手表、平板电脑、电视甚至鼠标，它配备了丰富的传感器，可以跟踪用户的动作、视线、手势、语音命令以及在环境中的位置。根据苹果公司的公告，Vision Pro的内部和外部有多达14个摄像头，1个激光雷达扫描仪，以及多颗红外LED照明器，可以帮助它了解用户在哪里以及在做什么。除此之外，这款头显还搭载了一颗新的专用R1芯片，负责处理来自所有这些传感器（以及其它一些传感器）的数据，以支持苹果带领我们转向“空间计算”时代。

 

什么是“空间计算”？

“Vision Pro是一种全新的计算机。”苹果公司首席执行官Tim Cook在首次展示这款混合现实头显时说，“这是第一款用户‘透’过它看世界的苹果产品。”这标志着苹果由此转向空间计算。那么什么是空间计算？台式电脑被认为是世界上第一台个人电脑，或者我们今天普遍称呼的PC，而笔记本电脑将台式机缩小为便携式电脑，智能手机的出现，在此基础上再次将其缩小，智能手表则更进一步，将计算机缩小到了用户的手腕上。空间计算，标志着苹果首次摆脱个人计算的束缚，从某种意义上说，用户从现在开始将不再受到显示器的限制——无论大小。“由此，用户无论身处何地，都可以在其周围构建荧幕。”Tim Cook总结道，然后他把舞台交给了设计副总裁Alan Dye。

空间计算标志着一个新的计算时代，用户的工作环境不会对Vision Pro的显示造成任何限制。用户的任意真实环境都可以变成工作空间，就像真实显示屏上的文件夹、窗口和小组件一样，Vision Pro能够支持用户在3D空间中创建它们。Dye解释说，在空间计算中，用户不必最小化一个窗口来打开一个新窗口，只需将一个窗口拖到一边，然后打开另一个即可。苹果的VisionOS系统将用户的房间和视觉周边变成了一个操作系统，用户可以在任意地点创建多个屏幕/窗口，移动并调整它们的大小。这就像科幻大片里钢铁侠的全息电脑……但有了更好、更优雅的界面。

M2和R1芯片如何处理空间计算？

Vision Pro的核心是两个芯片——M2和R1，它们协同工作以实现虚拟和现实的无缝结合。Vision Pro配备了苹果公司的M2芯片，执行计算和多任务处理，还配备了专有的新款R1芯片，该芯片与Vision Pro内外的所有传感器协同工作，以跟踪用户的视线、控制输入，并帮助虚拟元素在现实世界中无缝呈现，实现很多令人惊艳的功能，比如在用户周围的世界投下阴影，当你四处走动时角度会随之改变，或者当现实中有人走进用户的视野时消失/淡出。

R1芯片可以说是Vision Pro的秘密武器。它处理来自设备上每个传感器的数据，同时以惊人的精度跟踪用户的环境、位置、手，甚至眼球的运动。跟踪用户的眼球运动，是Vision Pro掌握用户想与哪些元素交互的基础，实际上可以将它们变成真正的光标。令人印象深刻的是，R1芯片还利用用户的眼睛数据来了解屏幕上哪些元素需要渲染，哪些元素不需要渲染。鉴于人在任何给定的时间只能专注于有限的区域，R1芯片知道只渲染视觉外围的一部分，而不是浪费资源渲染整个场景。这是一种非常聪明的方法，可以优化电池使用，同时提供身临其境的卓越体验。然而，这还不是它的全部能力……

苹果工程师透露R1芯片的强大功能

苹果公司的一位神经技术工程师揭秘了Vision Pro的内部技术到底有多复杂。在受到保密协议约束的前提下，工程师Sterling Crispin在其推特上分享了Vision Pro如何跟踪用户的视线，然后完美实现界面导航。R1芯片在预测用户的视线路径和意图方面近乎神奇。Crispin提到：“最酷的是R1能够在用户实际‘点击’之前预测用户将要点击的内容。用户的瞳孔在点击之前会做出反应，部分原因在于人眼会对点击后产生的结果有预期反应。因此，我们可以通过监测用户的眼睛行为，利用他们的大脑构建生物反馈，并实时重新设计用户界面来创建更多的预期瞳孔反应。”

Crispin进一步解释称：“推断认知状态的其他技巧包括，以用户可能无法察觉的方式快速向用户闪现视觉效果或声音，然后检测他们对此的反应。另一项专利详细介绍了如何利用机器学习和来自身体及大脑的信号来预测用户的注意力、放松程度或学习效果。然后更新虚拟环境以增强这些状态。由此，想象一个自适应的沉浸式环境，它可以通过改变用户在背景中的所见所闻来帮助学习、工作或放松。”

全面了解Apple Vision Pro中的传感器

各种各样的传感器主导着Vision Pro的空间计算能力，下面我们来看看苹果在主题演讲中重点介绍的传感器，以及Vision Pro内部的其他一些传感器。本文给出的传感器可能并不完整，因为目前还没有人真正拆解过Vision Pro。

摄像头：Vision Pro有14个摄像头，可以帮助它捕捉头显内外的细节。Vision Pro外部有多达10个摄像头（2个主摄像头、4个向下的摄像头、2个原深感摄像头和2个侧面摄像头），以3D立体方式感知用户的环境，其内部还有4个红外相机，可以跟踪用户的眼睛并对虹膜进行3D扫描，帮助设备验证用户身份。

激光雷达扫描仪：激光雷达扫描仪的用途是利用光飞行时间原理测量距离，创建用户周围环境的3D地图。目前，它已被用于大多数自动驾驶汽车系统，而在iPhone的后置摄像头系统中通过它扫描周围3D场景实现增强现实应用。在Vision Pro上，激光雷达扫描仪位于用户鼻子正上方的正中央，可以捕捉用户周围世界的完美3D视图。

红外相机：现在，很多设备上都配有红外相机，它们能够在可见光相机无法工作的情况下起到关键的成像作用。红外传感器能够在绝对黑暗条件下工作，这使它们比传统可见光相机具有显著的优势。这就是为什么Vision Pro内部配备了4个红外相机，其外部配备的红外相机/传感器（数量不详）可以帮助设备在照明不佳的条件下看清周围环境。Vision Pro内部的红外相机在眼动跟踪和虹膜3D扫描方面表现卓越，能够执行苹果的安全Optic ID认证。

照明器：虽然这些不是传感器，但它们在传感器完美实现功能方面发挥着关键作用。Vision Pro外部有2个红外照明器，可以闪烁不可见的红外点阵网格，帮助准确扫描人脸（与Face ID非常相似）。在Vision Pro内部，用户的每只眼睛周围都有不可见的LED照明器，可以帮助红外相机跟踪眼睛的运动、反应，并对虹膜进行详细扫描。这些照明器在低光环境中起着至关重要的作用，为红外相机提供了工作所需要的数据。

MEMS加速度计和陀螺仪：尽管苹果在Vision Pro发布会上没有提这些传感器，但很明显，Vision Pro有多个加速度计和陀螺仪来帮助它跟踪运动和倾斜。与所有优秀的XR头显产品一样，Vision Pro能够实现6个自由度的跟踪，能够检测左、右、前、后、上、下移动。加速度计可以帮助头显捕捉这些动作，而陀螺仪可以了解用户何时倾斜头部。这些传感器，连同相机和扫描仪，为R1芯片提供了所需要的数据，以掌握用户的站姿、移动和视线。

MEMS麦克风：Vision Pro中内置了数量不详的麦克风，可执行语音检测和空间音频功能。语音命令是用户与Vision Pro交互的核心部分，可以帮助用户执行搜索查询、调用应用程序/网站，并与Siri自然交谈。不仅如此，麦克风还需要对用户的房间进行声学扫描，就像相机需要进行视觉扫描一样。这样做是为了让声音与用户所在的房间相匹配，提供适当的混响、音调频率等。此外，在空间音频应用中，当用户转头时，声音感觉仍然来自原来的同一位置，从而创造一种声音错觉，让耳朵听到的“匹配”眼睛所看到的。

其它关键组件

除了传感器，Vision Pro还配备了从屏幕到电池等一系列高科技组件。

显示器：从其名称就可以看出，Vision Pro显然非常注重用户的视觉感受。它采用了有史以来最令人惊艳的显示器。Vision Pro有两个邮票大小的显示器（每只眼睛一个），每个显示器的像素都比4K电视高。这使Vision Pro主显示器的总像素数达到了惊人的2300万像素，以及12毫秒的刷新率（约为83 fps）。同时，Vision Pro外部还有一个显示屏，可以向周围的人显示用户的眼睛。尽管外部显示器的素质尚不清楚，但它是一个曲面OLED屏幕，前面有一层透镜膜，可以给人一种3D显示的印象，所以人们看到的是有深度的图像，而不仅仅是平面图像。

音频驱动器：Vision Pro的系带在用户两侧鬓角位置都内置了音频驱动器，当用户戴上后，可以向耳朵发射丰富的、环境响应的音频。苹果公司提到，Vision Pro为每只耳朵都提供了双音频驱动，这可能表明其音质可以与AirPods Max相媲美。

风扇：为了保证整个设备的散热，Vision Pro配备了数量不详的风扇，有助于保持其内部的最佳温度。这些风扇很安静，但功能强大，可以为耳机内的两颗强大芯片提供散热。底部的设计细节有助于排出热空气。

数字旋钮：借鉴Apple Watch，Vision Pro也有一个数字旋钮，它可以旋转来召唤主屏幕，切换淹没用户周围的沉浸式环境，以获得真正的VR体验。

快门按钮：数字旋钮还配有快门，可用于拍摄3D照片和视频，这些照片和视频可以在Vision Pro中查看。

电池：Vision Pro有一个独立的电池单元，使用专有连接器连接设备。Vision Pro之所以采用独立的电池组，是为了尽可能减轻头显设备本身的重量。考虑到电池的重量问题，采用外置电池方案有助于分配负载。苹果公司没有分享电池的具体容量，介绍称充满电后可以连续使用2小时。另外，独立电池如何充电也没有提及。

编辑：黄飞