虚拟成像技术进一步发展,AR底层技术SLAM打破空间边界

我想在房间里看到宇宙的银河系，我想早上1分钟内试穿8条裙子，我要让游戏的“英雄”跳出来在写字台上来一场大战……我们的想法真是越来越多。

人们的灵感激发了很多可能性的创作，每一次科技革命都是人类对“认知”的进化。去年在Facebook的开发者大会上，艺术在AR与SLAM技术的驱动下创造出完美的艺术作品，利用定位技术和场景几何分析，Facebook团队将著名艺术家Heather Day的作品素材，巧妙地投影在真实空间中，随着现场bgm旋律，优美的线条和栩栩如生的画作就出现在人们的面前。

Heather的艺术作品完美投影到真实世界中

硬件设备迭代、传感器升级以及AR技术的发展，让我们打破视觉空间的边界，时空瞬移的挑战不再是虚幻。提及AR领域，SLAM作为关键性的底层技术——同时定位与地图构建，将真实场景和想象空间结合、融入，借助计算机视觉和图形学技术的力量，消除了虚和实的界限。

AR合影-动态影像融合到真实世界中

AR集成了真实世界和虚拟世界的信息，两种信息相互补充、叠加并实时交互。在三维空间中定位虚拟素材，让不同角度空间都能看到虚拟信息与真实世界融合的效果，因此，空间6DoF定位和地图构建两个关键性能力，不得不提：

6DoF定位——包括位置信息和角度信息，基于手机摄像头我们会看到AR效果，从任意角度拍摄可以看到不同视角的场景，不同角度看到的视野能够和真实世界融合在一起。所以，实时计算出手机设备的当前空间位置和角度很关键，这就是6DoF定位能力。

地图构建——对整个场景三维空间、平面结构的充分理解，比如哪里是地板，哪里是墙面，快速精准的在线构建场景，能够支持实时定位和虚拟物体植入，当识别到这些几何信息我们就可以看到“在地板上放东西，在墙上挂壁画”等虚实结合的AR效果。

除最为核心的同时定位和地图构建  SLAM和3D视觉技术还包括哪些知识点

平面/三维物体识别和跟踪：基于业内领先的图像识别和跟踪技术，能够快速识别场景中平面/三维物体，对障碍物体进行检测跟踪，如果把一个虚拟杯子放到某个场景中，算法能够识别它的位置和环境的三维结构，无论从哪个角度检测、识别，画面中的物体都会和真实世界对应起来，这便是基于稳定的三维跟踪效果。

运动恢复结构（SFM）：对于某些视频画面，相比于实时运动跟踪的SLAM，我们也可以离线来做，算法和SLAM类似。一段拍摄好的画面或视频，通过离线处理，整个场景可用完整的三维点进行恢复。一些无序拍摄的场景画面，也可以通过SFM将场景三维结构恢复。

实时深度估计和三维重建：如果想场景结构在线恢复得更加完整，就要恢复出更加稠密的三维点云，也就是稠密三维重建。利用立体匹配算法，将画面上的每个像素在空间上的3D距离计算出来，整个场景扫描的过程融合多帧画面的深度信息，得到完整精准的场景三维模型，这就是基于深度融合的实时三维重建算法。该算法在移动设备上支持实时的景深虚化、双目立体化、真实感渲染、阴影合成、虚实物体的遮挡和碰撞等交互效果，创建物理真实的“虚实融合”世界。

稠密三维重建

光照估计：通过计算机视觉和图形学算法，基于真实场景的视频数据估计出场景的光照环境，包括亮度、光源等，渲染时再将光照信息叠加在虚拟模型上，使渲染效果与真实环境更加贴合。

场景图像+虚实结合

跨平台的轻量级AR/VR引擎：不同于前几项SLAM底层技术，跨平台的轻量级AR/VR引擎将后端SLAM、三维重建和前端的三维绘制、渲染整合，集成了AR/VR引擎。最终呈现给用户的是三维绘制的虚拟场景和真实世界的融合后的效果。具有跨平台、库体积小且支持多种光照和材质模型，以及虚拟物体的遮挡、阴影投射、Avatar表情驱动等特点。

游戏、机器人领域SLAM技术打前战  我们能做的还有更多

为了保证机器在某些特定环境中路径规划更加智能，在机器人应用领域，SLAM技术的存在也为机器人识别周围环境、躲避障碍物、规划路径、场景地图实时构建等提供技术支持。

在自动驾驶领域，SLAM应用目的是解决定位和三维重建的难题。在自动驾驶过程中，实时定位和路径规划能力很重要，必须要实时精准地获取信息和坐标。关于地图构建方面，通过传感器采集的信息，SLAM算法会将整个场景的高精度三维结构进行恢复，高精度地图也是自动驾驶中较为核心的部分。

SLAM与越来越多的场景相结合，很多用户已经感知到AR应用的全新体验方式。SLAM与AR技术让他们近距离感受到电子游戏中颠覆式的交互体验。原来我们的体验只在虚拟的3D场景里，如今游戏中虚拟的人设可以跳出手机在真实的场景里进行打斗，我们不仅可以和游戏中的“英雄”合影，甚至可以在房间里和虚拟人设“交战”。

OPPO联手商汤打造AR开发者平台 

王者荣耀APP入驻 

“英雄”跳出了手机在真实世界里比拼

除此，SLAM的识别跟踪技术也涉入电商领域，提升我们线上平台的购物体验。如果我们需要为家里购置一台冰箱，无需再担心位置摆放、冰箱大小等这些琐碎的问题，通过手机摄像头线上扫描空间环境，真实场景中的平面或三维物体就会快速被识别出，SLAM算法会聪明地将“虚拟冰箱”放在最为合适的三维空间里，添置在房间合适的位置上。

京东APP入驻 提升线上平台购物体验

近期，OPPO与商汤科技合作吸纳多家APP进驻，共同推进AR应用的普及，首批进驻的APP中王者荣耀和京东，便是通过商汤的SLAM底层技术与AR支持让更多消费者感受到AR应用的全新交互方式。针对垂直行业深度定制优化的特点，商汤将会为互娱、游戏、电商、广告、旅游、教育、家装等行业开发相应的AR增强工具包，帮助APP厂商深化行业AR应用。

深度定制化合作  通过APP交互给用户最佳体验

由商汤科技研发的SenseAR底层引擎解决方案将AR基本能力赋予手机厂商。基于硬件及手机厂商提供的信息和数据，通过算法实时处理，反馈空间定位信息、空间场景的三维信息，手机厂商将算法做整体封装，作为手机的基础能力，开发者基于封装的SDK和手机平台就可以进行更为复杂逻辑的应用开发。商汤科技将联合合作伙伴一起搭建AR内容创作平台，提供AR内容创作工具链和AR内容素材给APP开发商，解决AR内容缺乏、创作效率低的痛点。

与同类AR平台相比，SenseAR平台的硬件适配、软件开发的低成本，是平台核心优势。与ARCore对硬件高标准的要求不同，SenseAR支持不同的硬件配置，在缺失陀螺仪的传感器设备上也能稳定运行，即便是千元左右的大众机型，都可以在手机上很好的呈现平台的性能，覆盖广泛。并且支持安卓、iOS、Windows、Linux、Mac OS等多种操作系统，只需要开发一次就能跨各种操作系统和硬件终端。