谷歌3D全息电话亭，颠覆现有视频通话！宛如真人面对面

电子发烧友网报道（文/李弯弯）据报道，在近日召开的Google Cloud Next 2022上，谷歌CEO桑达尔·皮查伊介绍了在全息视频聊天项目（Project Starline）上取得的一些进展。
 
Project Starline是谷歌内部高度保密的实验项目之一，根据谷歌的研究院透露，项目小组在6年前就已经开始相关的技术研究。直到去年5月，桑达尔·皮查伊首次在Google I/O大会上向公众发布，在此之后又沉寂了几乎一整年。
 
最新进展和体验效果
 
在近日的Google Cloud Next 2022上，桑达尔·皮查伊表示，Starline 项目已经在谷歌内部进行了数千小时的测试，并在其美国办公室每天使用，而100多个横跨媒体、医疗和零售的企业合作伙伴已经收到了演示。
 
谷歌还宣布Project Starline正在进入下一个测试阶段，计划是在选定的合作伙伴办公室部署设备进行定期测试，谷歌提到的合作伙伴包括Salesforce、WeWork、T-Mobile和Hackensack Meridian Health，这些设备预计将在今年年底前完成安装，开启初试。
 
谷歌为什么花费大量时间开展Project Starline呢？根据项目组给出的答案，就是让人在通话的时候，感觉你是和一个真正的人在一起。在如今的社会中，人们通常会相隔千里，尤其是近两年疫情频繁发生，人们不得不通过Zoom等远程会议软件，进行联系、沟通工作。
 
然而当下视频会议给人的感觉并不好，根据微软一份关于视频会议对工作效率的影响的报告，人们在视频会议中会比显示沟通更容易分析，这是人们在面对高压力的视频会议下的自然应对反应。而谷歌认为，能提供真人对话体验的Project Starline，似乎能够消除这种压力感。
 
谷歌的研究员做了对比实验，他们发现相比传统视频沟通，使用Project Starline沟通的参会者会有更多眼神接触和肢体语言，在沟通结束后能够回忆的内容也要多出28%。
 
Project Starline给人的真实体验效果到底如何呢？在测试阶段，Project Starline邀请了包括The Verge在内的媒体和合作伙伴进行了亲身体验。The Verge编辑Jay Peters在体验后感叹到，这是他迄今为止体验过的最真实的一次虚拟现实交互，感觉像是科幻小说照进现实。


 
Jay Peters表示，Project Starline就像一块具有魔法的窗户，将两间房间连接在一起，坐在他对面的谷歌研究员看起来和真人的高度、长相几乎一致，当他递过来一个苹果时，他甚至能够通过画面上的阴影感受到近似真实世界的空间距离感。
 
这就像是一场发生在同一张桌子上的两个人，在面对面进行交流。Project Starline在标准办公环境下就可以运行，而且使用者无需佩戴任何设备。
 
硬件构成和工作原理
 
Project Starline看上去像是一个精致的梳妆台，人坐下来之后，前面是一块65寸的大屏幕。据介绍，这是一块8K/60Hz的3D光场显示器。谷歌的研究员称，这块显示器单眼可观测的像素密度是Oculus Quest等VR设备的两倍，可以有更精细的立体显示效果。
 

图源：谷歌

 
Project Starline的工作原理是，通过传感器和摄像头，从不同角度捕捉人像，再利用深度学习进行实时压缩，将这些数据传输到对面，在显示屏上重建实时3D模型。再配合高级的声音系统，构建了一个 3D全息电话亭。
 
从分布来看，光场显示器想要显示出好的立体效果，需要采集物体的深度信息，谷歌的研究员，在屏幕的上方和底部都安装了多个双目立体相机和红外相机，这样能够结合多角度的深度信息，还原出人物的空间距离感。
 
在屏幕的两侧和上方还安装了多个单色跟踪摄像头，用于对人物两部五官的实时3D定位，这样当人物移动的时候，也能够精准地还原人物模型。

图源：Starline的硬件构成图例

 
这是在视觉方面，为了营造面对面沟通交流的逼真感，谷歌在听觉方面也下了很多功夫。
 
在输入端，麦克风可以配合脸部追踪的数据形成具有指向性的动态波束，以实现降噪和抗干扰。在输出端，追踪系统能定位观众的耳朵，模拟出对话的空间方位感，让声音听起来就像是屏幕中人像的嘴巴说出来的一样。
 
是否会成为下一代通信手段
 
随着信息技术的发展，人类的通讯手段也在不断升级。1844年5月24日，美国萨缪尔·莫尔斯在华盛顿国会大厦，向40英里以外的巴尔的摩，发出了人类历史上第一份长途电报。电文内容是《圣经·旧约申命记》中的一句话："What hath God wrought!"。
 
这份电报为人类开启了信息时代的大门。此后，电报技术迅速在欧美大陆普及，并逐渐传递到世界各个角落。然而电报作为早期的通讯手段，使用起来并不方便。
 
1875年，美国发明家亚历山大·贝尔和他的助手发明了第一台电话诞生。不同于电报，它是一种通过直接传送人类声音的通讯方式。1876年2月14日，贝尔在美国专利局申请电话专利。1878年，贝尔成立了电话公司，并实现了波士顿和纽约之间相距300公里的长途电话试验。从此，电话很快在北美各大城市盛行起来，并且迅速风靡全球。
 
1973年，马丁·库帕发明的第一部手机诞生。不过一直到1985年，才诞生出一台现代意义上的、真正可以移动的电话。1987年，手机进入中国。
 
从早期的电报文，电话，到手机，人类通讯传递的信息内容，从文字，到声音，到视频影像，信息传递的及时性和内容都在不断提高。那么未来人类通信手段如何才能更先进呢？除了信息传递的及时性外，内容可不可以更丰富。
 
比如Project Starline所实现的3D影像，如同真人面对面沟通。Project Starline可能就是人类下一代通信应该有的样子。
 
不过从目前的情况来看，Project Starline距离实际应用，还有诸多问题。
 
Wired的编辑Lauren Goode在参与测试体验过后表示，当人物移动幅度过大时，原本立体的图像就会短暂变回平面，体验并不完美。谷歌的研究员也提到，在处理形状复杂，比如蓬松的毛发、光学眼镜等，或者运动物体的时候，时常有错误的伪影出现。
 
另外，谷歌开展Project Starline的研究，目标用户是B端企业，可以用于人数众多的集体会议。然而因为3D全息视频通话的时候，计算机时刻需要进行大量计算，谷歌的这台设备目前仅支持一对一聊天，这在未来的应用场景上就会受限。
 
更为重要的是，装配一套Project Starline，成本相当高，光场显示器和各种光学摄像头都非常昂贵，这使得Project Starline短期内只能停留在实验室，而进入消费者市场的可能性很小。Project Starline的产品管理总监Andrew Nartker称，目前它还很难称得上是一件产品。
 
整体而言，Project Starline是一个全新技术的探索，谷歌也会继续对其进行优化改进。未来，它能否成为一个真正的产品还未可知。不过无论怎样，任何一项新技术的探索都值得被关注。