×

苹果和FaceBook的AR眼镜资料下载

消耗积分:3 | 格式:pdf | 大小:111.82KB | 2021-04-19

淡淡的爱

分享资料个

就像对ARKit的3D模型(usdz)所做的那样,Apple正在开发一种新的音频格式,即使在用户移动,戴着“ Apple Glass ”或其他AR设备时,也可以更轻松沉浸式地在用户周围放置“3d声音”。 以前已经证明Apple在为AR制作高分辨率视频图像,现在它也致力于与之配套产生高质量的音频。在新的专利申请中,该公司正在研究与空间音频有关的工作。 具体来说,Apple希望建立一种音频格式,例如.MP3或.AAC,并结合了AR所需的额外空间信息。该格式不仅需要包含实际的音频,而且还远远超出在立体声图片的左侧还是右侧播放元素的范围。苹果以前曾与皮克斯合作开发一种名为USDZ的格式,该格式用于将音频放置在用户周围的3D空间中。 “在增强现实(AR),虚拟现实(VR)和混合现实(MR)应用程序中产生三维(3D)声音效果是具有挑战性的……因为现有的音频格式最初是为在物理环境中产生3D声音而设计的具有固定的扬声器位置和固定的听众。” 苹果将AR,VR和MR统称为“模拟现实”(SR),并表示希望在许多现有3D音频格式的基础上发展。例如,旨在产生3D声音的空间音频格式包括MPEG-H 3D音频标准,HOA空间音频技术和DOLBY ATMOS环绕声技术。 问题既与观众感知声音的位置有关,也与创作者可以选择放置效果或音乐的地方有关。苹果公司说:“在SR环境中产生3D声音效果的一种替代方法是操纵音频对象中包含的各个离散声音,这些声音实际上可以位于3D环境中的任何位置。” 苹果公司提出的解决方案是创建一种格式,该格式类似于.m4v和.mp4是将不同元素组合在一起的格式。对于苹果公司对空间音频的新要求,该公司建议创建一个音频资产库,其中包括资产元数据,使模拟现实(SR)应用程序开发人员能够为SR应用程序编写声音。” 苹果公司说:“音频经过了格式化,包括音频数据,这些数据编码了能够被编入SR应用程序的声音,以及资产元数据,不仅描述了声音的编码方式,而且还描述了SR环境中听众的感受。 另外Facebook Reality Labs研究小组最近也分享了一些关于AR的音频项目。该小组的目标是将技术融入到AR眼镜中,通过在嘈杂的环境中轻松隔离对话声音,增强你的听力,并能够重现虚拟声音,让它们看起来像是来自你周围的真实世界。自定义的HRTF是提供这种体验的关键,它是每个人根据头部和耳朵形状听到声音的独特方式的数字版本,但这个过程既耗时又昂贵。该团队正在研究一种可扩展的解决方案,可以从你的耳朵的一张简单照片生成精确的HRTF。 Facebook Reality Labs(简称FRL)是Facebook最新采用的名称,该团队致力于开发沉浸式技术(包括Oculus眼镜)。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !