大众收购3D全息技术企业SeeReal股权

苹果iOS 13代码曝光：AR可穿戴设备仍在开发，“STARTester"支持设备功能的切换 

根据MacRumors周末的一份报告表明，苹果iOS 13内部版本文档中显示苹果头戴式AR显示设备仍在继续开发。这是目前最明确的消息，尽管此前DigiTimes的报告声称该项目已被暂停，

据悉，iOS 13的内部构建中包括一个“STARTester”应用程序，该应用允许用户访问头戴式显示模式，这也可能是为了测试的目的，在iPhone上复制头戴AR显示设备的功能。根据内部构建的文档信息，该应用存在有两个头戴状态用于测试，“佩戴”和“保持”。

此外iOS 13中还有一个内部自述文件，用于描述支持立体声AR的应用程序“StarBoard”系统模式，这意味着是某种类型的设备。该文件还表明，苹果正在开发一种代号为“Garta”的AR设备，这可能是“T288”计划设计的几种原型之一。

为了进一步深入苹果iOS 13内部代码，我们发现了许多与所谓的“StarBoard模式”和各种“视图”和“场景”相关的字符串。许多字符串都引用了AR的代码，包括“ARStarBoardViewController”和“ARStarBoardSceneManager”。

此前，多家媒体和消息人士声称苹果计划在2020年发布增强现实眼镜。

苹果首席执行官蒂姆·库克多次谈到AR技术的前景，他认为AR是“深刻的”，因为这项技术可以进一步丰富人类的各方面能力。

大众收购3D全息技术企业SeeReal股权 

据volkswagen报道，大众汽车已收购领先技术公司SeeReal Technologies的少数股权。确保大众集团能够获得汽车显示技术领域面向未来的增强现实。该研究项目将为本集团提供关键技术，使未来的驾驶更安全，更方便。

大众表示，从 2020 年开始销售的全电动大众ID.3，将通过增强现实平视显示器将信息投射到驾驶员的视野中，并直接链接到驾驶员的环境。

该技术可以以3D形式，将路上的潜在危险情况投射到驾驶员所处环境中，3D全息影像将实现与环境的无缝式衔接。汽车将通过虚拟开关及显示屏完成操控。车内所有驾乘者都能使用该款“可触控”3D显示屏，提供自然的视觉信息或人机交互。

其实，市场上已经有可以在有限空间投射信息的抬头显示器，而从2020年开始销售的纯电动车型大众ID.31将通过增强现实型抬头显示器，将信息投射到驾驶员的视野中，与驾驶员所处环境直接联系。

在未来几代的抬头显示器中，3D影像将与周围环境更加无缝连接，出现离驾驶员很近或者很远的创新型显示器概念。未来，传统的汽车仪表板可能会被淘汰，而车辆将通过虚拟开关和显示器进行控制。所有乘客都能够使用“可触控型”3D显示器，以人类的自然视觉完成信息传递或交互。

SeeReal Technologies一直致力于该领域的技术研发。大众集团创新部门负责人Axel Heinrich表示：“增强现实将成为未来移动出行及人机交互理念的核心部件，而这正是我们专注于全息技术等关键技术的原因。我们将为这款增强现实抬头显示屏提供车规级产品要求，而SeeReal则提供三维全息的技术支持。”

2018年底，大众集团创新部已经与该技术公司在德累斯顿和卢森堡开始合作研发。

肖特发布300 mm RealView纳米压印玻璃晶圆，用于AR/MR智能眼镜 

EVG集团是一家为MEMS系统、纳米技术和半导体市场提供晶圆键合和光刻设备的国际领先供应商。肖特与其合作，利用纳米压印工艺成功开发出基于300 mm（约12英寸）肖特RealView玻璃晶圆的波导片。肖特的大尺寸晶圆和EVG 的SmartNIL 技术对于大批量光波导片的生产和成本控制至关重要。

肖特RealView玻璃晶圆是下一代AR/MR穿戴式设备的关键部件。玻璃晶圆是多层RGB波导片的基板，是AR/MR显示单元的一个重要组成部分，为用户营造沉浸式体验（更多信息）。

300mm玻璃晶圆的生产需要更大尺寸的AR/MR等级的光学玻璃块料，这种大尺寸的光学玻璃块料的生产极其困难，它需要全新的制造和熔炼工艺。肖特已具备生产大尺寸光学玻璃块料的能力。同时保持RealView玻璃晶圆的优异质量。

据悉，肖特已经为客户提供300 mm的RealView高折射晶圆样品，同时正在准备提升大尺寸晶圆的批量生产能力。与此同时，在德国光学玻璃中心，肖特的玻璃专家和研发团队也在继续提高其AR/MR级光学玻璃的质量。

图像

5G的杀手级应用：手机AR游戏 

AR是5G的杀手级应用，它到来的速度将比任何人想象的都要快。   5月，苹果与高通（领先的5G调制解调器生产商）达成和解，据彭博社报道，高通将获得至少45亿美元的订单和6年的供应商协议。   iPhone制造商对这些5G调制解调器有着大计划，他们将从AR起步。   当大多数精通技术的人想到AR时，首先会想到谷歌。谷歌的工程师们已经在谷歌地图中加入了漂亮的AR虚拟标牌。据报道，下一代Pixel智能手机将通过后置摄像头模块上的TrueDepth传感器以及Project Soli（一种微型雷达技术）来提升效果。  

当然苹果的工程师们也正在AR上发力，据传他们正在研发AR眼镜。但撇开硬件，对于5G来说真正的杀手级应用正是移动AR游戏。   5G能使AR更加身临其境，图形加载更快且效果更好，而较低的延迟也可以显著改善游戏体验和玩法。   在2016年的夏天，《Pokemon Go》的热潮席卷了全球，这款AR游戏通过使用手机上的摄像头将虚拟与现实结合在一起，为玩家带来全新体验。这款游戏下载量已经超过了10亿次，在其最受欢迎的时候，每月能吸引1.47亿活跃用户，且收入高达30亿美元。   该游戏由Google内部的游戏团队Niantic开发而成，据谷歌博客中的文章，当任天堂和谷歌在谷歌地图上推出愚人节宠物小精灵挑战的时候，这个想法就出现了。   Niantic现在也将进入下一阶段：5G AR游戏。   Niantic首席技术官Phil Keslin表示，5G将实现更高水平的游戏体验。该技术能将带宽提高1000倍，延迟将降低10倍。为了做好准备，Niantic正在计划复杂的新游戏，并将与无线运营商合作以保证带宽。   运营商需要一场胜利。智能手机业务停滞不前，消费者对手机设备的需求正在降低。但5G再加上令人惊叹的新AR体验，或许将能改变一切。   在《Pokemon Go》推出后，苹果CEO Tim Cook在2016年开始公开谈论AR。他告诉分析师，这个平台会很庞大，苹果也会进行投资布局。从那以后，苹果提出了多项AR专利，收购了多家AR创企，聘请了新的员工，并推出了ARKit。   据彭博社报道，最新款iPhone将于9月10日上市。背面的3个摄像头设置将配备一款激光3D摄像头，能够感知深度。当苹果在2020年推出5G设备时，所有的规划都将非常有意义。   目前苹果股票的预期市盈率仅为16.4倍，销售额为3.7倍，市值为9610亿美元，鉴于新iPhone产品周期的前景，该股票将进入弱势市场。

Facebook发布超现实虚拟形象新研究 

Facebook Reality Labs研发团队发表了一项关于超现实虚拟形象方法的详细研究论文，扩展了公司之前名为“编解码器化身”的工作项目。

.Facebook Reality Labs创建了一个系统，从简洁硬件中能够以目前最高的逼真度实时制作出动画版的虚拟化身。头显内只有三个标准摄像头，定位用户的眼睛和嘴巴，系统能够更准确地辨别出个体复杂的面部表情中的细微差别。

这项研究的重点不仅仅是如何将摄像机固定在头显上，还包括如何利用图片还原用户虚拟形象的深层技术。

系统方案主要依赖于机器学习和计算机视觉。“我们的系统是实时运行的，它可以识别各种各样的表情，包括鼓脸颊、张大嘴咬人、动舌头，以及还原皱纹这样的细节，在之前，这些细节很难精确地动画化，”一位作者说。

实验小组还发表了他们的完整研究论文，深入论述了系统背后的方法论和数学。这项名为《通过多视图图像翻译的VR面部动画》（VR Facial Animation via Multiview Image Translation）的研究成果发表在《ACM图形学报》（ACM Transactions on Graphics）上，这家杂志自诩为“图形领域最重要的同行评审期刊”。

1.带有9个摄像头的训练头显。

2.带有三个摄像头的追踪头显；红色圈起的摄像头可以与训练头显共享。

这篇论文解释了项目为何要创建两个独立的实验耳机，一个“训练”耳机和一个“追踪”耳机。

这款训练耳机体积较大，装有9个摄像头，可以收集用户面部和眼睛的更宽范围的视图。这样做可以简化输入图像和先前捕获的用户数据扫描之间的对应过程（分析输入图像与输出化身之间的对应部分）。论文称，这一过程可以“通过带有自查功能的多视图图像翻译系统自动匹配，不需要人工注释或域间逐个对应”。

一旦对应完成，就可以使用更紧凑的“追踪”头显。“追踪”头显的三部相机恰好对应着“训练”头显九部相机中的三部；根据“训练”头显收集的数据，这三部相机的视角可以得到更好的理解运用，也就是说，输入图像能够准确地驱动动画化身。   论文着重研究了系统的精准度。以前的输出方式一到关键区域，用户实际面部表情的准确性就会下降，尤其是极端表情，以及眼部动作和嘴部运动的关系。

  与之前相比，新系统的精准度明显提升：对于脸基本被头显遮住的用户来说，近距离的镜头可以用来准确地重建面部。

尽管功能进步明显，但现有方法仍然不容易被主流人群接受。因为前期要对用户进行详细的初步扫描，以及使用专业的“训练”头显，这就需要“扫描中心”这类的机构，用户可以去那里扫描和练习使用虚拟化身效果（同时也会获得一个定制的HRTF）。可是在虚拟现实成为社会交流方式的重要组成部分之前，我们不太可能建立这样的中心机构。然而，先进的传感技术和不断改进的自动通信建设或许可以让我们在家中完成这一步骤。

谷歌发布实时移动手部追踪技术 

日前，谷歌已经向研究人员和开发团队发布了一种可用于移动设备的手部追踪方法，谷歌研究工程师Valentin Bazarevsky和范张（音译）称其为“手势识别的新方法”。

早在今年6月份，谷歌就在CPVR 2019上首次发布了在线即时手部追踪工具，供开发者们研究探索。这是一种开源的跨平台工具，开发者们可以自己创建加工管道来处理视频和音频等感知数据。

据称，这种方法可以通过机器实现高保真的手部和手指追踪，仅从一帧图像就可以推断出手部的21个三维“关键点”。

Bazarevsky 和Zhang在一篇博客中说到，“目前最先进的追踪方法依然要依赖强大的桌面环境来推断手部动作，但是我们的方法已经可以在手机上实现实时识别，甚至可以扩展到多个手。”谷歌开发团队希望这种手部追踪方法能激发出“更有创造性的案例，以及新的应用程序和新的研究途径”。

Bazarevsky和Zhang解释说，在他们的手部跟踪方法中主要有三个作用系统，一个手掌探测器模型(称为Blaze Palm)，一个“手部标识”模型，带有高保真的三维手部关键点，以及一个手势识别器，可以把手部关键点的布局图划分为独立手势集。

以下是从博客全文中提炼出来的几个细节：

研究人员声称，在掌心检测方面BlazePalm技术可以达到95.7%的平均检测精准度。

模型已经存入一致的内部手势，甚至可以识别部分遮挡的手部动作。

可以识别多种文化下的手势含义，如美国、欧洲和中国，“拇指向上”、握拳、“OK”、“Rock”和“蜘蛛侠”等手势。

Google是开源的，它在MediaPipe中的手部追踪和手势识别系统需要配合相关的首尾相连的使用场景和源代码。

Bazarevsky和Zhang说，谷歌未来的研究计划仍将放在手部追踪方面，探索更强大和更稳定的追踪功能，并希望扩充可以检测到的手势数量。此外，他们还希望支持动态手势追踪识别，可能会为机器手语翻译和流体手势控制带来好处。   不仅如此，配备更可靠的手持追踪设备是AR头显向前迈进的必要条件；因为头显依然需要外部摄像头来呈现虚拟世界，所以如何让机器理解这个世界将一直是个待解决的问题。