苹果MR专题报告：VRAR有望迎iPhone时刻，硬件顶配、生态丰富

核心观点：

据彭博社等多家海外媒体报道，苹果有望在今年6月6日-10日开发者大会上，推出其第一代MR头显产品 1）从硬件参数来看，均达到行业“顶配” ：包括Micro-OLED显示屏、电脑级M2芯片、十余颗摄像头 和传感器等，能够实现VR/AR切换、眼动/手动追踪功能。 2）从内容生态来看，兼容、智能、多元是关键词。1）兼容性：可与iPhone、iPad等其他苹果设备无缝 切换；2）智能性：支持Siri语音输入创建物品，极大降低UGC门槛；3）多元性：布局健康、教育、游 戏、视听四大内容品类。

我们此前也前瞻提出，快速发展的AI技术，有望撬动VR/AR行业奇点，我们看到：1）SAM模型助VR/AR内 容更好生成，也革新了VR/AR的交互体验；2）AI提升VR内容的制作效率，提升供给。 在全球智能手机出货量下滑背景下，手机龙头公司苹果的第一代MR产品意义非凡，顶配的硬件参数和丰 富兼容的内容生态，足见其对VR、AR市场的重视与投入程度。 我们看好苹果MR发布，以及AI技术的快速发展，对VR、AR行业的带动。我们看好苹果MR发布，以及AI技 术的快速发展，对VR、AR行业的带动。

第一章硬件升级，行业顶配，打破VR与AR的界限

1.1、MR头显是一个什么样的产品？

第一代头显自2015年左右开始研发，配备了性能可以媲美最新款Mac的先进处理器，而且搭 载了超高分辨率屏幕。目前设备进入量产准备阶段。第二代Apple AR/MR预计2025年上半年 出货，零组件供应商预计2024年下半年供货。 库克表示AR是一个像智能手机一样伟大的想法，苹果希望AR眼镜能在10年后取代iPhone， 那么可以预计它未来的总销量将会达到数十亿台。

苹果AR/VR团队已搭建多年，具有强大的研发设计能力。苹果AR/VR团队已搭建多年，汇聚群英，团队规模和研发能力均为行业领先。2015年，苹果 的AR/VR项目成立，团队负责人是前杜比执行副总裁Mike Rockwell，目前苹果AR/VR技术团 队人数约为2000人，该团队不仅有来自NASA和来自游戏、图形和音频行业的关键员工，还有 iPhone、iPad和 Mac的前硬件和软件工程师。苹果为AR/VR（HMD 头戴式显示设备）积累了大量相关专利。苹果自从2014年开始，即为AR/VR（HMD 头戴式显示设备）积累了大量专利。其中包括显示 类、扫描类、手部识别、眼球追踪、音频、导航、监测、AI算法、操控、识别等多方面技术。

硬件方面均为高规格。第一代MR头显“Reality Pro”硬件方面均为高规格。据The Information、VR陀螺，苹果MR头显屏 幕为两块1.4英寸、4K级高分辨率的 Micro-OLED 屏幕，供应方为索尼；芯片搭载了基于苹果M2打 造的2枚处理器芯片，采用5nm工艺打造，已被应用于 MacBook Pro 等产品；光学方案采用了 Pancake折叠光路，Fov达120°；摄像头和传感器方面，苹果MR头显配备了十余颗摄像头和传感 器，其中每只眼睛各一颗，以实现眼动追踪和注视点渲染功能还搭载了如今应用于iPhone和iPad设 备的LiDAR传感器，以实现SLAM等功能。

1.2、芯片方案：苹果单独为MR设备开发定制多颗芯片

苹果会为新类别终端设备单独开发定制芯片，如智能手机的A系列芯片，智能手表的W系列芯 片，Airpods的H系列芯片以及PC的M系列芯片。 由于MR设备对算力的需求较大，苹果将单独为MR开发定制芯片，预计可能是M2的改款。另 外苹果为MR设备单独设计了代号为 Bora 的图像处理芯片和代号为 Golay 的无线芯片，用于 驱动内部显示屏和设备与基站间的数据传输。

1.3、显示方案：硅基微显示方案有望逐步得到广泛应用

硅基微显示器更加符合XR领域需求，大幅改善显示体验，有望逐步得到广泛应用。在XR领域，用 户希望拥有尺寸更小、 清晰度更高、刷新速度更快、功耗更低的设备来实现海量信息的传达，得 到身临其境的体验。传统显示器通常是基于非晶硅、多晶硅薄膜场效应晶体管（TFT）工艺的，像 素密度一般不高于1000 PPI。随着CMOS工艺技术的发展，出现了以单晶硅为衬底的硅基微显示 器，在单晶硅 CMOS 工艺条件下，单像素点距可达10 μm 以下，像素密度提升至5000 PPI以上 ，可以制造出尺寸更小的显示器，制造良率也大幅提升。

Fast-LCD屏幕量产稳定、性价比高，目前已成为消费级VR头显的主流屏幕。Fast-LCD技术使用 新的液晶材料（铁电液晶材料）和超速驱动技术（overdrive）来有效提升刷新率，同时也具有较 高的量产稳定性和良率，性价比较高，Oculus Quest 2即采用一块改良后的 Fast-LCD 替换了上代 产品中的两块 AMOLED。 Fast-LCD刷新率、PPI、功耗表现未达到理想状态，显示技术仍需升级。目前主流VR搭载FastLCD屏幕，刷新率在90-120Hz，单眼PPI（像素密度）约1000，相比理想状态（刷新率120- 240Hz，单眼PPI 2000-4000）仍有较大提高空间，此外由于Fast-LCD显示需要全亮背光层，功耗 也比较大。中长期来看，Fast-LCD受限于工作原理，已经较难跟上VR设备升级显示性能的要求。

硅基液晶（LCoS）是一种新型的反射式微液晶投影技术，它采用涂有液晶硅的CMOS集成电路芯 片作为反射式LCD的基片。传统的LCD是做在玻璃基板上，LCOS则是做在硅晶圆上。前者通常用 穿透式投射的方式，光利用效率只有3%左右，解析度不易提高；LCOS则采用反射式投射，光利 用效率可达40%以上，而且可随半导体制程快速的微细化，逐步提高解析度。LCOS的优势在于结 构紧凑、稳定可靠、分辨率高，缺点在于对比度不足以及功耗较高。 LCoS 器件结构：液晶器件制作于单晶硅基底上，通过反射光形成图像。硅基底中集成 CMOS 驱 动电路，表面通过化学机械抛光（CMP）等工艺形成像素电极，在电极上制作定向层，盖上覆有 ITO电极的玻璃，灌入液晶形成。

Micro OLED显示性能有所提升，有望成为中短期内的替代方案。不同于LCD和OLED采用的玻璃基板 ，Micro OLED是单晶硅晶圆基板，显著降低像素尺寸，仅有前者1/10，可有效提升像素密度和角分辨 率。Micro OLED 分辨率可达3000PPI以上，响应时间可达微秒级。 苹果第一代MR头显采用索尼供应的Micro OLED，达到极致显示效果 。苹果即将发布的MR将配有2块 4K的Micro-OLED。LG Display的一位高管曾表示，硅基OLED将是未来元宇宙设备使用的主要显示屏。

Micro LED 是高度集成的自发光器件，在CMOS 驱动芯片上集成微小尺寸的 LED 阵列，形成 Micro LED 微显示器，每个 LED 像素点单独寻址点亮形成图像。Micro LED 的发光效率高、色彩丰富、器 件稳定、响应速度极快，能在近眼显示领域得到较好应用。 但目前Micro LED技术尚不成熟，在外延技术、封装结构、Wafer bonding、全彩方案、功耗等方面仍 有需解决的问题。预计Micro LED逐步成熟量产之后，将接力Micro OLED推动微显示技术继续升级。

1.4、光学方案：Pancake为头显继续“瘦身”，成为VR光学技术的未来发展方向

超短焦光学为头显继续“瘦身”, Pancake为最易量产方案。超短焦光学按照视场角的大小可划分为自由曲面 和基于反射偏振的折叠光路技术两种方案：自由曲面透镜加工工艺复杂、成本更高、应用条件更为苛刻，难 以量产；而折叠光路技术（Pancake lenses）量产潜力较大，目前是超短焦光学的主要解决方案。 Pancake目前市面上多为两片式，其生产工艺要求简单，成本可控，是目前大多数VR眼镜所采用的短焦光学 方案。基于Pancake技术方案的VR眼镜，图像源发射光线进入半反半透的镜片之后，光线在镜片、相位延迟 片以及反射式偏振片之间多次折返，最终从反射式偏振片射出。实现了将光路“折叠”，压缩光学镜头与显 示屏之间的距离，极大地缩小了产品体积。

光学方案：Pancake在减重、提高沉浸度方面具备巨大潜力。突破视场角和分辨率限制。菲涅尔透镜方案，理论视场角上限为140° ，单眼分辨率上限为4K，应用该方案的主流设备视场角平均为90- 110°，单眼分辨率已经达上限；而Pancake方案，理论视场角上限达 220°，单眼分辨率可实现视网膜级。 提升成像效果。菲涅尔透镜方案，边角会有暗角、模糊和畸变 ； Pancake方案，组合透镜提高透镜边缘成像质量，降低图像畸变，提高 成像对比度、清晰度和细腻度，并支持 0-700°屈光度调节。 继续推动轻薄化。根据YVR，Pancake模组相对菲涅尔方案厚度可减少 一半，大幅降低头显重量。HTC Vive Pro 2 和 Oculus Quest 2 采用菲 涅尔透镜方案，重量为 785/503g，厚度为 73.5/80.1mm；而Huawei VR Glass 和 Arpara VR 采用折叠光路方案，重量为 166/200g，厚度为 26.6/30.0mm。

光学方案：Pancake工艺优化空间仍然较大，未来需进一步开发，光路损失较高：在折叠光路设计模式下，光线需要经过两次半透半返膜，每次强度损失50%，因此Pancake方 案理论最高光学效率只有25%，加之反射偏振膜也会损失10%，整体光学利用率只有10-20%，因此Pancake方 案需要配有高亮度显示屏幕，如Micro OLED、Micro LED等。 存在伪影现象：在双折射效应下，光线在透镜中折返时容易产生伪影，需通过偏振膜以消除影响，而准确的偏 振膜对材料、耐热性、精密加工等的要求较高。

生产难度、成本高：Pancake中的核心光学膜，对材料和多片镜片贴合工艺要求较高，全球只有3M、旭化成等 企业能够满足要求，且生产良率较低、成本高，一组透镜（单目）的光学膜成本接近100元人民币。 实际效果未达到理想：受透镜直径被压缩等因素影响，目前分辨率和视场角表现还未达到理想水平。现有 Pancake方案VR产品显示效果随已实现或超越菲涅尔透镜产品，但是距离理论上限（200°）仍有较大差距。

1.5、IPD调节：根据不同使用者进行瞳距调节，改善视觉体验

瞳距调节：瞳距因年龄、性别、人种和体型相差巨大，自动瞳距调节可使XR头显扩大使用佩戴人群。瞳距调 节的技术逐步发展，2022年，自动IPD调节眼镜将首次进入消费级市场，随着苹果眼镜的上市，电驱IPD调节 将逐步成为未来VR行业的“标配”。

1.6、焦距调节：通过可变焦技术，实现屈光调节和视力矫正

可变焦显示：可变焦显示可以提高观看舒适度，具体包括机械式变焦和电子变焦（液晶透镜技 术）等，机械式可变焦显示原理是通过图像处理技术，定位瞳孔位置，利用内置算法推算人眼 的注视点，通过电机+齿轮模组推动分光镜完成可变焦，实现镜片多个自由度的切换；电子变 焦液晶透镜应用光学成像原理，通过改变液体镜头的曲率来改变焦距。 根据目前海内外大厂的专利布局，我们认为短期机械式变焦调节将成为主流方案。

1.7、眼动追踪：用于视觉交互和优化渲染，成为XR中不可或缺的功能

眼动技术：通过对眼动轨迹的记录从中提取诸如注视点、注视时间和次数、眼跳距离、瞳孔大 小等数据, 在XR设备中主要用于视觉交互设计以及图像优化渲染。视觉交互：人类对客观世界的感知信息有70%是来自视觉,用户不需要做出显性的输入 (如点击), 而是系统本身在用户的浏览中提取出眼动信息,并作出适应性的变化,图像优化渲染：眼动追踪技术可实现将注视点映射到头显的屏幕上或真实的空间环境中,最终实 现人眼视觉中心看哪里,就重点渲染注视点所在的区域,而其他外围区域则可采用较少分辨率处理 (较低的图像质量)。此举将大大降低处理器的计算能力。索尼的 PSVR2运用 Tobii眼动追踪技术, 称其可以节省约72%算力。

1.8、电池：外置电源与MagSafe技术

头戴式设备重量过笨重和电池发烫问题。据MicroDisplay苹果MR头显将推出专属移动电源，能够佩 戴在用户腰部，减轻头戴设备重量，能通过 96W USB-C 外接式 MagSafe 磁吸电源线替头戴设备 供电。 移动电源体积大概是两台 iPhone 14 Pro Max 叠放在一起大小，电池续航最长能够提供2小时，且 移动电源佩戴在用户腰部使用时，还能允许通过其中一块供电，同时替另一块移动电源进行补电， 已延长设备使用时间。

1.9、其他：一键切换VR/AR模式

一键切换VR/AR模式：据MicroDisplay，苹果MR头显将会有两种模式：完全沉浸在虚拟世界（VR 模式）和将虚拟世界叠加到现实世界两种模式（AR模式）。用户想要切换从VR模式切换到AR模式 时，只需要“转动”右侧类似Apple Watch的数位表冠（Digital Crown），能够一键快速切换 AR、 VR 两种模式，主要是运用头戴设备上的 6 ~ 8 颗光学模组用来定位追踪和 VST 透视，假设用户沉 溺在 VR 体验中，切换成 AR 模式后，虚拟画面会通过渐层淡出转厂，让用户能感受 Reality Pro 周 围真实环境与虚拟讯息和物体结合画面。

相关专利于2018年第二季度提交：2020年8月，美国专利商标局公布关于苹果公司的关于协调相机 和显示系统的增强现实覆盖层的专利，该专利涉及一种戴在头上的设备，例如混合现实眼镜，设备 可能具有摄像头。在操作期间，照相机可以捕获用户周围的真实世界环境的运动图像，从而让电子 设备中的控制电路可以为用户显示真实世界的内容，此外还可以向用户提供计算机生成的内容。

第二章内容丰富，兼容性强，应用场景大幅增加

2.1、苹果近年布局和收购动作频频，深入布局VR/AR诸多方面

苹果通过收购相关企业深入方方面面布局AR领域。近些年苹果动作频频，根据不完全统计，近年来 苹果收购VR/AR相关的企业多达几十家，包括3D感应以及动作捕捉技术公司PrimeSense、Micro LED公司LuxVue、动捕公司Faceshift、面部识别公司Emollient、硅基OLED公司eMagin、体全息光 波导公司Akonia等，在光机、显示、动捕、面部识别、建模、内容方面均有深度布局。

收购多家MR内容公司，丰富内容生态，据不完全统计，自2015年以来，苹果已经在过去7年时间里收购了超过7家创企，为其MR内容服务。2015年， 苹果收购了位于慕尼黑的Metaio，此前该公司主要为AR应用程序制作工具。同年，苹果还收购了专门从事面部 动画和动作捕捉的Faceshift。2017年，苹果收购的初创公司Fabric Software，也正是目前研发内容开发工具团队 的前身。2020年，苹果收购了两家位于南加州的初创公司，分别是提供VR体育直播的NextVR和提供VR视频会 议的Spaces。

2.2、专有xrOS操作系统，或实现与其他苹果生态设备无缝切换

专有xrOS操作系统，将支持iPad 应用程序，可作为Mac外接显示器。xrOS操作系统将有一个类似iOS的界面， 降低用户操作门槛，同时将xrOS将与macOS集成，MR头显可以在虚拟现实中充当Mac显示器，扩展使用场景。 将支持数十万个iPad 应用程序：苹果MR头显可在AR/VR场景中运行大部分苹果一方的iPad应用，包括MR 优化版本Safri浏览器、照片、相机、通讯录、FaceTime通话、信息、文件、无边记（Freeform）、天气、 家庭、邮件、地图、音乐、图书、提醒事项、备忘录、股票等；并可运行App Store数十万个现有第三方 iPad应用，无需适配或经过少量适配。

作为Mac外接显示器，或打造“空气键盘”：操作系统xrOS将与macOS集成，苹果MR头显能够作为连接 Mac的外部显示器，还能在用户戴上头显之后，使用触控板或者鼠标、物理按键控制设备。当用户需要输入 某些文本信息时，苹果MR头显至少支持语音输入和按键输入两种输入方式，语音输入时，设备将直接识别 相关文本信息；按键输入时，借助iPhone、Mac或iPad等第三方设备的键盘通过物理按键输入文本信息。苹 果还在开发“空气键盘”，让用户可以用手在半空中打字。

苹果MR设备或实现与其他苹果生态设备之间的无缝切换。2023年3月，欧洲专利局公布了苹果的 “用于扩展现 实 (XR) 系统的多设备 Continuity”专利，该功能可实现在 MR 设备和其他苹果生态设备之间的无缝切换体验。 Continuity 功能的其他示例包括 AirPlay to Mac、Sidecar、Universal Control 和 Continuity Camera。 与iPhone联动：例如一名佩戴 MR 头显用户在 iPhone 屏幕上查看电子邮件时，iPhone 的屏幕上会出现一 个悬浮的扩展邮件应用界面。通过手势或眼球的交互控制，用户随后可将电子邮件传输到悬挂在其虚拟环境 中的更大显示屏上，并通过头戴式摄像头检测到他们的手指移动来继续起草电子邮件。

2.3、健康、教育、游戏、视听四大场景内容布局

健康方面，苹果或推出有助于冥想和锻炼的冥想应用“Wellness”，提供沉浸感的视觉、舒缓平静的音乐和背景 音，之后将推出全新设计的适用于VR的Fitness+，可以让用户在VR中进行锻炼； 教育方面，苹果希望用户可以通过MR头显打造沉浸式MR阅读； 游戏方面，苹果已经创建了自己的底层引擎为MR游戏提供支持，但游戏内容仍然是交付给第三方开发，将集成 现有第三方开发者在其它苹果设备上（iOS、iPad OS等）的Top级游戏阵容； 视听方面，苹果将为MR头显打造专用的视频观看功能，可以让观众处于一个新的观看环境，如沙漠或者太空场 景中观看视频，用户通过佩戴AirPods，可以获得完整的空间音频体验，感受环绕立体声，或将推出专为虚拟场 景提供的体育赛事App。

2.4、打造内容开发工具，用户可以创建自己的AR软件

苹果正在打造了一款内容开发工具，可以让用户轻松构建自己的AR软件，并能够上线App Store，提供给他人 下载。据The Information，该软件可以帮助用户构建一个新的应用程序，例如让虚拟动物在现实世界的房间里开 始移动，还可以围绕在部分现实物体旁。借助该软件，用户无需从头开始设计动物模型，也无需计算该动物将如 何在有障碍物的3D空间中移动。这项内容创建工具类似于“我的世界”和“Roblox”两款游戏，这些游戏中，用 户可以通过简单的界面轻松构建自己的3D世界和对象，与Meta的游戏创建应用程序Horizon Worlds相类似。

2.5、一对一视频会议支持全身渲染

视频会议，全身渲染：据彭博社，苹果将重点打造基于FaceTime的高级视频会议功能。头显内的FaceTime软件 将在虚拟世界中逼真地渲染用户的面部和全身。用户将会感觉自己和其同伴都处在同一个“房间”。考虑到全身 渲染所需要的数据处理能力，全身渲染功能仅在一对一视频聊天中所支持。如果要是多人进行FaceTime通话， 其他用户仍以图标或者Memoji（Apple的自定义表情符号）的形象出现。

2.6、海外体育VR内容—NextVR有望与苹果MR硬件一同推出

海外体育赛事VR直播已有先例。海外VR直播平台NextVR自2012年转型内容，主要涵盖体育、音乐、娱乐、 新闻等领域的VR直播和内容提供，包括NBA、国际冠军杯、温网等赛事，且NextVR应用程序已在HTC Vive、 PSVR、Windows VR、Oculus Go、Gear VR和Daydream推出，硬件兼容程度较高。 Next VR在2020年被苹 果收购，2023年苹果即将推出旗下首款MR头显设备，Next VR或将成为苹果系内容生态的重要组成。

第三章生成式AI爆发，降XR内容制作门槛，革新交互体验

3.1、AI能为VR带来什么？颠覆交互、提升内容

生成式AI的快速发展将为XR设备销量的提升带来契机。一方面，大语言模型及SAM等模型带来的 理解能力提升将为XR设备的语音交互、物体识别等带来更多的可能，带来更具有沉浸式的交互体验 ；另一方面，生成式AI降低了3D资产制作的成本和门槛，为VR游戏、VR视频、AR应用程序等专 业内容制作降本增效，通过文字或语音即可建立3D模型甚至程序将极大丰富UGC。 Meta发布图像分割模型，有望接入XR设备识别物品。未来，SAM有望接入XR设备，例如可用于通 过AR眼镜识别日常物品，用户仅需要使用目光注释物体，SAM对用户看到的画面进行分割，配合 AR眼镜应用，为用户展示所注释物体的提醒和说明。

大语言模型极大提升文字理解能力，为XR设备实现深层次语言交互奠定基础。一方面，大语言模型 能够理解更复杂的自然语言，完成更复杂的自然语言处理任务，进而能够听懂用户以语音形式给出 的复杂指令并做出响应，使得XR设备除肢体、眼睛交互外增加一种深层次的语音交互方式，使得用 户与设备之间的交互更加综合。另一方面，大语言模型可为虚拟助手、聊天机器人或其他支持语音 的交互式 XR 应用程序提供更逼真、更自然的对话，这有助于通过提供更自然和直观的交流方式来 改善整体交互体验。

VR游戏：大幅降低VR游戏开发成本，促进更多开发者投入。 AI驱动虚拟主播，降低VR内容制作成本。OpenAI的大模型技术支持对玩家对话内容、游戏情节、 关键物品和行为等进行解析，结合微软TTS 技术进行语音合成和声纹模仿，创造出于人类主播非常 相似的虚拟主播。 AI驱动虚拟人运营，有望进一步丰富VR内容生态。虚拟人创作互动平台aisocia不仅支持一键生成 这个虚拟人及其形象，还支持让多个虚拟人在一起聊天，通过接入各种API，例如运营虚拟人IP， 能够接到社交平台上面，让虚拟人自动发布运营消息，用户只需要最后做一步确认即可。

VR社交/虚拟人：降低普通用户3D内容创作门槛，极大丰富UGC。 AI驱动的3D资产生产力提升，达数倍甚至数十倍。若以腾讯 AI Lab提出的3D虚拟场景自动生成解 决方案测算，其将构建大规模3D城市时间由数年减少到数周，带来的是生产力数十倍的提升。以 3A级VR游戏《半衰期:艾利克斯》为例，其开发团队由大约80人构成，是Valve历史上规模最大的团 队，开发周期历时4年，若使用AI生成3D内容，保守估计开发成本会有数倍的下降。 AI驱动NPC，自然对话交流。在支持 Steam VR 的一个多人游戏创作沙盒Modbox中，开发者使用 了OpenAI的GPT —3语言模型及Replica的自然语音合成技术，创造了能够和人类玩家进行生动、 自然、自由对话的NPC。Mount & Blade II基于GPT-3打造的NPC对话内容参考了NPC所处的位置 、职业、状态、游戏进程以及当时的世界观，自然且符合NPC身份。

3.2、谷歌推出可视化AR创作工具Geospatial Creator

2023 Google I/O大会上，谷歌推出可视化AR创作工具Geospatial Creator。Geospatial Creator支 持无代码、直接在3D场景图块上直观创作，并支持Geospatial API的多项强大的AR功能，如：地理 空间锚点、地形锚点、屋顶锚点等等。可在 Android 和 iOS 受支持的设备上打造基于世界的跨平台 体验。谷歌宣称，任何人使用它只需要几分钟就能设计、发布LBS AR内容。

报告节选：

审核编辑 ：李倩