“技能互联网”创造身临其境的学习体验

描述

迈向互联互通世界的下一个步骤是:让任何人都能远程教学、学习及开展活动。通过这种方式,人类技能的给予或获取将不再受限于任何物理边界,人类的知识将在全球氛围内更加快速高效地传播。我们称这一概念为“技能互联网”,在未来数字化世界里,技能互联网是一场重头戏。

技能互联网的出现是爱立信首席技术官提出的五大关键技术趋势其中之一。实现技能互联网的一大主要前提是视觉、听觉和触觉技术的获取,从而使人类在远程学习、教学或开展活动时,能够获得与本地相近的感官体验。

例如,当一位斯德哥尔摩的外科医生对一位身在哥德堡的病人实施远程手术时,其所听到、看到、感觉到的,都应该像在斯德哥尔摩的手术室现场操刀一样。同样,技术人员在某个地方维修机器时,应该能够获得远程专家的指导,就像专家就在身旁。

允许用户与远程终端和机器人进行无缝交互也是基本前提之一。并且,由于该系统需借助超低延迟和高带宽网络以及云技术来提供端到端体验,通信技术也是重要的组成部分。

过去几年中,这些技术领域均取得了一定的进展。现在,市场上既有能够呈现3D视觉效果的经济实惠的虚拟现实(VR)和混合现实(MR)终端,又有能够实时采集世界各地高质量3D视觉和听觉信息的新型传感器。此外,3D空间音频技术也已被开发出来,最新的触觉技术能在用户体验动作、力量、形状和质地时不断提高真实感。

PengramAR和ScopeAR联合开发的混合现实远程专家辅助系统就是其中一个例子。然而,当前的系统缺乏听觉、视觉和触觉技术能力以及与终端和机器互动的方法,因此不能算是全沉浸式的技能互联网系统。由于这些系统需要包含多个技术组件并具备像人类一样的理解能力,因此,我们是否能真正构建此类系统将取决于每个组件的开发情况和成熟度。此外,这些系统目前还缺乏可用的5G通信和云技术,无法提供所需的灵活性、高带宽和低延迟。

实时远程通信

高质量并且高效率地抓取、传输和渲染视觉、听觉和触觉信息至关重要。因此,适用于所有这些形态的传感器、算法和执行器缺一不可。

在视觉组件方面,技术的发展主要集中在实时3D视频采集、处理和渲染方面。对于视频采集,近几年市场上已经推出了基于不同基础技术的几种新型传感器,价格也已大幅下降。这些传感器将深层信息与RGB贴图相结合,以3D的形式展现捕捉到的世界,从而为用户提供沉浸式的混合或虚拟现实体验。鉴于用户希望这种体验能够接近其与自然环境的互动体验,所以通常这些沉浸式场景需在进行编码和渲染之后再呈现给用户,以达到足够高的质量。但是,这种做法将会因为分辨率和帧速率的提高而产生带宽压力,当用户在虚拟世界中遨游或与之实时互动时会产生延迟。

机器学习的进步提高了算法采集和处理的质量与效率。在渲染方面,市场上每年都会推出几款新的VR和MR终端,画面分辨率越来越高,视野、深度感、可穿戴性和终端定位方面均有所改进。尤其是近期开发的基于智能手机的低成本MR耳机,似乎预示着MR应用的前景不可限量。鉴于人们已在采集和渲染技术领域进行了大量投资,这些技术的质量、性能和可用性将不断提升。

在音频组件方面,技术的发展主要集中在空间音频麦克风上,希望能够研发出更加经济实惠的新型空间音频麦克风来采集房间内一个或多个空间位置的声场。然后,人们希望借助空间音频滤波方法使用这些麦克风,以分离房间中的各个声源并估计它们在3D空间中的位置,或者呈现声场图。空间音频渲染器的性能很大程度上取决于渲染中使用的HR滤波器型号与用户自己的物理HR滤波器的匹配效果。这是一个非常活跃的研发领域,现在已有合理的解决方案,而在不久的将来还会有更好的解决方案出现。目前,相关各方正努力规范交换空间音频流所用的格式并开发压缩技术,以应对采集空间音频所需的日益庞大的数据。

在触觉组件方面,技术的发展日益专注于可穿戴触觉终端,这主要是受VR应用的推动。新面市的终端主要是指环和手环,主要目的是让用户能够感受到3G场景中的动作、力量和质地。同样,这些终端也能感受到用户在互动中施加的动作和力量。鉴于目前的可穿戴终端通常难以设置或穿戴(主要是因为无法实现较高的自由度),因此这方面仍存在严峻挑战。

基于超声波的触觉终端最近浮出水面。超声波就相当于用户的手,因此不再需要用户佩戴或持有物理终端。该技术因易于使用和设置而极具吸引力。它的主要缺点是触觉反馈的质量还比较低。我们相信可穿戴触觉终端和基于超声波的终端将会继续改进,而未来几年新型传感器和执行器的涌现也将进一步改进触觉终端。触觉通信的标准化工作最近几年也已开始,很可能推动触觉技术的加速扩展与部署,并大力推动技能互联网的实现。

在这个新范式中,人类开展互动时使用的终端将发生翻天覆地的变化,最重要的是,人机互动将成为常态。因此,您在设计这些新终端和机器人时,应将人类互动考虑在内。

技能互联网系统的面市很有可能大大降低人类的差旅需要,并进一步提高人类远程工作的能力。此类技术将对实现联合国可持续发展目标中的第11(可持续发展的城市和社区)、12(负责任的消费与生产)和13号目标(气候行动)起到巨大助推作用。

通信技术

5G通信技术的标准化将成为技能互联网的关键推动力。触觉通信需要低于10毫秒的延迟,而实现这一目标则需借助5G超可靠低延迟通信(URLLC)标准功能。特别是,大量3D视觉信息对网络带宽提出了高要求。利用低延迟网络,您可在终端之间快速传输大量数据,从而腾出更多时间用于处理和分析可用信息。

最新的云技术发展有望提高技能互联网系统的灵活性以及该系统中的资源利用率。边缘云将允许您高效处理用户附近众多终端所采集的大量3D视觉、听觉和触觉信息。此外,边缘云还能降低VR/MR耳机的计算需求,从而延长终端的电池寿命。

爱立信的研究

自2015年以来,我们一直与多家企业和大学合作,以展示技能互联网的可行性及其令人兴奋的优势。例如,我们与斯堪尼亚汽车一起实现了远程控制公交车;携手沃尔沃集团远程控制轮式装载机和挖掘机;联合ABB远程控制机器人手臂;与KTH远程控制5G概念车;与伦敦国王学院、RoomOne Labs、Neurodigital和英国电信一起远程控制体检;以及远程控制无人机等。您可在下文看到更多示例。

爱立信研究院积极参与3GPP和MPEG的沉浸式音频编码和渲染开发工作,以及MPEG (ISO)和ITU-T标准化组织的视频编解码器开发工作。在音频领域,我们正努力研究高质量的高效渲染和沉浸式音频呈现方法,包括HR滤波器建模。

在视频领域,我们开展了包括系统和传输在内的大量研究工作,例如如何高质量地渲染和呈现自然及合成视频,以及如何针对跨网络、云和客户终端的分发处理接口实施标准化等。

我们还是专注于触觉通信标准化的IEEE P1918.1触觉互联网工作组成员。该标准化工作组的主要目标是为实现高效的触觉信息通信定义通用架构、接口和压缩算法。

在2015世界移动通信大会上,我们带来了具有触觉反馈功能的远程控制挖掘机

在2016世界移动通信大会上与ABB联合展示如何通过触觉反馈来远程操控机器人

在2017世界移动通信大会上与国王学院一起实施远程手术

当前的通信技术将声音与图像带到我们身边,相信在加上触觉这一感官维度后,我们的通信范围将进一步扩大,想象力也会得到进一步的释放。

爱立信认为,最初的全沉浸式技能互联网系统将在未来几年内浮出水面,并且随着所有关键技术组件的成熟以及5G通信和云技术的实现,其性能和普及度也将越来越高。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分