Nreal联合Clay AIR 新增手势追踪功能

vr|ar|虚拟现实

169人已加入

描述

2020年3月8日消息,Nreal宣布与Clay AIR合作,在Nreal Light上新增手势追踪功能,同时结合新的内容,强化与德国DT(Deutsche Telekom)等欧盟运营商的合作关系。

与Clay AIR合作,Nreal Light新增手势追踪功能

通常,手势追踪需要增加专用的手势追踪模块或者传感器才能实现,而随着计算机视觉的发展,使用普通2D摄像头,加上算法识别也开始能够实现较为精准的手势操作。Nreal不是第一款获得手势追踪功能的MR眼镜。微软的HoloLens 2和Magic Leap One都具有此功能,但这是第一款不借助深度传感器视线手势追踪的MR眼镜,就像Oculus Quest是第一款实现的移动VR头显一样。没有硬件获取深度信息的实时手部跟踪要困难得多,这需要先进的机器学习算法。

而Clay AIR,就是一家不需要增加深度摄像头等硬件模块,通过软件算法就能实现手势操作的软件公司。Clay AIR在2018年曾经与高通合作,为OEM提供关键交互技术,以加速AR&VR设备的采用。这是该公司在AR&VR头戴式显示器(HMD)中实现标准化手动跟踪功能的重要目标的一部分。据了解,通过Clay的软件算法,已经可以识别包括拿、捏、抓、轻扫等超过30种用户的手势动作,从而操纵虚拟物体,与MR环境更直观地进行交互。

基于Nreal Light上用于Slam的摄像头传感器,加上Clay AIR的软件算法,识别出用户的真实手部骨骼后,将3D手部模型以全高清方式进行叠加,并通过机器学习对用户手指和手部动作的实时变化进行跟踪和渲染。由于Nreal Light能够连接搭载高通骁龙855及以上平台的5G智能手机运行,不仅能够实时流畅地计算手势动作、对图形进行渲染,同时手机供电也确保了更强的电池续航能力。

据了解,手势识别功能将在近期通过Nreal SDK提供给开发者,应用在支持Nreal 3D系统星云的安卓应用程序中。通过Nreal SDK,开发人员可以进行手势追踪的自定义,包括重塑或渲染全手、单独的手指、边界框、光标或自定义外观,前期完全支持的手势包括捏、指向、抓取、滑动和缩放。

在MR体验中,手势操作被视为是最自然的交互方式,为了追求更流畅的用户体验,Nreal此次Clay AIR的手势追踪功能引入到Nreal Light上来,不仅能降低操作的学习门槛,还能提升用户体验的灵活性。

“通过提供手势追踪功能,Nreal为Nreal Light 消费者版的开发人员和用户提供了更大程度的灵活性,使其可以与MR环境进行交互。无论是手势追踪、5G智能手机控制、还是6DoF控制器、眼动追踪、语音交互等,事实上,我们并不认为其中单一一种方式是与MR交互的最佳方法,实际上可以同时包含多种控制选项。”除了手势追踪之外,日前Nreal与七鑫易维合作,宣布推出结合眼动追踪功能的Nreal Light眼镜。Nreal的首席执行官兼创始人徐驰说道:“我们希望为开发人员和用户提供多种选择,让他们自己来决定最适合的方法。”

Clay AIR的CRO Varag Gharibjanian也提到:“ 我们很荣幸参与了Nreal引发的革命,他们是消费者AR的领导者,我们期待与他们一起创新共同创建行业平台。”

“一款对于消费者友好的硬件,加上无缝的手势追踪和手势识别技术,是使AR在全球范围内实用化的必要催化剂。” Clay AIR首席执行官Thomas Amilien认为,双方合作关系的建立标志着拐点的出现。

在过去的十年中,许多公司都在推进AR眼镜在行业及消费端的应用,推动AR眼镜时代的来临,但实际上早期尝试的很多公司都失败了,包括Meta、ODG和Daqri。 Magic Leap曾经被认为是大众市场MR头显的最佳机会,但它也转向了更小但更成熟的行业市场发展。

相对而言,像Nreal这样的玩家有两个方面的优势。首先,AR眼镜是展示5G网络速度的一种引人注目的方式,如果可以远程传输大量数据,则可以通过轻量级硬件提供令人印象深刻的体验。其次,有传言称苹果将推出AR眼镜,这可能会增加该硬件形态成为主流的机会,同时也为该领域增加了一个强大的竞争对手。

强化与欧盟运营商合作,推动5G+AR应用

在增加Nreal Light功能的同时,Nreal也在积极推进其在欧洲的运营商合作伙伴网络,与英国EE合作之后又宣布与德国DT电信运营商建立了合作关系,向欧洲市场用户提供Nreal Light及5G定制应用。去年12月在高通公司的骁龙技术峰会上展示的AR Field Advisor是一种协作式机器/硬件远程修复应用程序,它将与Nreal Light的新5G游戏和娱乐内容一同加入Nreal的内容平台。

“我们相信混合现实将改变人们的工作、生活和互动方式。”德国DT产品创新和客户服务高级副总裁Omar Tazi说道, “混合现实是沉浸式娱乐未来的起点,Nreal在将该技术推向大众市场方面迈出了一大步。通过提供从边缘计算到最佳连接性的关键技术,再结合用于娱乐的最佳内容,例如音乐演唱会、体育赛事甚至是游戏,德国DT将与Nreal一起释放混合现实的全部潜力。”

在亚洲,Nreal通过在LG Uplus零售店以及日本KDDI直营店展示Nreal Light设备的举措,将MR带入了韩国、日本消费者的生活,并取得了长足的进步。

在CES 2020上,Nreal推出了其备受赞誉的3D MR系统“星云”,星云系统作为在MR环境中移植和显示2D原生安卓应用程序和交互式3D内容的方式,首次向消费者展示了一个多维的界面,该界面专门为Nreal Light上的MR环境设计,能够让用户获得更沉浸的体验。现在,通过与手势追踪相结合,MR开发人员和企业客户可以为用户构建更加身临其境且真正互动的MR应用程序。

日前,Nreal还与Spatial、高通、运营商合作,共同推动Spatial AR协作应用落地,该内容也将在不久后登陆星云系统。

Spatial的空间协作MR应用将为用户提供不受物理空间限制的远程协作解决方案。用户只需戴上Nreal Light眼镜,并将其连接在支持高通平台的5G智能手机上,运行Spatial应用即可体验首款针对MR平台推出的5G优化协作会议解决方案。

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分