6DOF追踪的进化：从标识追踪到SLAM定位，带给AR体验质的飞越

每一个 AR 产品背后都有值得深入探究的技术，当我们参与讨论 AR 时，层出不穷的技术语言令小白望而却步。

今天，Rokid R-Lab 研究科学家霍志宇博士就 AR 中的 6DoF 追踪方案展开讨论，他从成本和性能角度出发，对目前流行的四种 6DoF 追踪解决方案进行了比较。希望每个人都能读得懂，并形成自己对 AR 的认识和看法。

6DoF 追踪带给 AR眼镜怎样的体验飞跃？如何在设计一款 AR 眼镜时，实现六自由度追踪？以下，enjoy！

1

6DOF 追踪的进化：从标识追踪到 SLAM 定位，带给 AR 体验质的飞越

好的增强现实体验首先要是一种互动体验，实现现实环境和虚拟世界的结合，而这种体验离不开 6DoF 追踪（Six degrees of freedom tracking）的加入。

6DoF 追踪为用户提供了前所未有的互动体验和对虚拟世界的控制，可以说，6DoF 追踪是虚拟世界与现实世界建立联系的基础，是 AR 实现颠覆式体验的前提。

近年来，随着技术的指数级的增长，这种新型的 AR 互动体验正在以超出我们想象的态势发展。

AR 领域六自由度（6DoF）追踪的应用，最早可以追溯到 2003 年, 由 ARToolKit 所支持的首个移动端 AR 应用就出现在了 WinCE 平台上，但早期运体验并没有那么优秀。

早期 ARToolKit 应用程序在 Android 手机上运行

早期的 AR 利用标识图来跟踪摄像机的位置和姿态，实现 6DoF 追踪。使用者必须将标识图保留在视野范围内，虚拟内容也只能覆盖在标识图上，使用者稍微移动便会失去对标识物的追踪，虚拟内容便无法对现实进行覆盖，虚拟与现实的融合停留在比较浅层的阶段，无法给予使用者沉浸式的体验。

3DoF 与 6DoF 技术对比图

随着 SLAM (simultaneous localization and mapping)技术的普遍应用，6DoF 追踪与 SLAM 相结合，沉浸式的 AR 体验时代终于来临了。使用者可以摆脱标识图的束缚，进行实时定位与地图构建，从而在虚拟内容上产生更加沉浸和逼真的体验。

微软 HoloLens 设备的 SLAM 功能演示

早期的 AR 眼镜，为了在任意场景下都能提供最为精确和可靠的追踪体验，需要装备由多个鱼眼摄像头、深度摄像头和其他传感器驱动的高性能追踪系统。

不过这会让设备变得沉重且昂贵。即便是功能最为丰富且拥用商用前景的 AR 眼镜,也会因为其高昂的成本和糟糕的佩戴体验而遭到市场拒绝。

2016 年面世的 Meta 2 AR 眼镜

因此，想在轻量级 AR 设备领域取得成功，产品需要结合舒适性、经济性和技术可行性来进行研发。包括 Rokid 在内的很多 AR 眼镜研发公司，正在尝试通过有限的视觉设备和更少的算力来实现 6DoF 追踪。

2

在AR眼镜上实现6DoF追踪，这4种流行方案到底谁更好？

让我们从成本和性能出发，比较以下四种流行的 6DoF 追踪解决方案：

1、单摄像头

● 硬件成本低

● 易于集成到多种眼镜设计中

● 需要更专业的优化和定制

● 适用于偏静态场景

单摄像头

视频摄像头是 AR 眼镜的常用组件，主要用于拍摄高分辨率的照片和视频。在外观和可用性方面，将单个相机安装在眼镜上相对简单。

但是，视频摄像机通常以低频率（<60fps，大多数<30fps）运行，无法在运动中捕捉的高质量图像。 “果冻效应”和其他扭曲使得位置追踪失败。

2、单眼鱼眼摄像头

● 为 6DoF 追踪所预留的传感器

● 持续高频刷新 6DoF 追踪结果

● 会出现尺度漂移，使得虚拟物体会在场景中意外移动

单鱼眼摄像头

一些 AR 眼镜会配备用于 6DoF 追踪的单个鱼眼镜头。此解决方案会产生一些额外的功耗，但通常会为设备提供更好的 6DoF 追踪效果。鱼眼摄像头的高相机帧更新率（> 90fps）和全局快门功能，可以使得 SLAM 系统在运动场景中保持可靠的追踪位置。但单个鱼眼摄像机应放置在眼镜前面，这会产生一些设计限制。

单鱼眼摄像头比较不足的的地方在于它所支持的场景规模有限。一旦移动范围过大，SLAM 系统就容易产生尺度漂移，导致虚拟对象在场景中意外移动。

3、双目鱼眼摄像头

● 高功耗

● 追踪、尺度估算准确

● 眼镜的工业设计会面临挑战

基于双目鱼眼的 6DoF 追踪系统已被不同的 AR / VR 头戴式设备制造商证明是一种可以量产的解决方案，高通已经使用双目鱼眼视觉在其 VR 头盔上展示了高质量的 6DoF 位置追踪功能。

双目鱼眼摄像头模组

由于它提供实时的地图初始化、强大的追踪和对环境尺度的准确测量，因此额外增加摄像机所产生的功耗和成本是值得的。

与单眼解决方案相比，双目鱼眼摄像头可以更快地扩展场景，并能更准确的测量环境尺度从而防止漂移。即使传感器数量加倍，计算复杂度也不比单眼视觉系统高很多。但该方案的实现需要高质量优化和定制工作，并且功耗高、发热大，需要更强的系统和硬件支持。

4、运用边缘计算

● 成本高昂

● 能实现高质量的 6DoF 追踪

● 稳定性高，可兼容不同平台

英特尔推的定位追踪实感摄像头T265 可在边缘执行计算任务

边缘计算在 AR 设备中变得越来越流行，例如，HoloLens 已经通过边缘计算来运行其 SLAM 功能，使 CPU 和 OS 在用户应用程序上更高效地工作。对于轻量级 AR 眼镜，通过边缘计算来运行 SLAM 不仅可以减少计算负荷，还可以使 AR 眼镜兼容不同类型的主机平台。

这个解决方案的最优之处就在于，它可以在任何主机平台上均衡性能，无需定制优化算法。

然而，轻量级 AR 眼镜通过边缘计算运行 6DoF 并不容易。这些类型的 AR 眼镜上的芯片通常仅设计用于驱动显示器并传输传感器数据而无剩余资源用于其他计算工作。因此可行的解决方案是将成熟的 6DoF 追踪模块集成到 AR 眼镜板上。

目前还没有关于哪种解决方案对于轻型眼镜“完美”的结论。设计人员需要根据 AR 眼镜的应用场景，来定义其产品的功能和预期用途，以便做出最佳的软硬件选择。

Rokid AR 团队致力于研究最自然的人机交互体验，并通过 Rokid Glass 和 Rokid  Vision（即将在 5 月的美国 AWE 上发布） 一系列产品来实现。研究一个技术如何应用，是我们每天都需要反复思考的问题。

随着轻量级 AR 眼镜的逐渐普及，具有 6DoF 追踪功能的产品是能够给消费者带去优质体验的基础，也是 AR 产品走向千家万户的关键技术之一。