XR厂商混战AI技术，楼氏电子声学元器件如何破局音频技术难点

2023年上半年，多家AR/VR厂商相继发布新品。随着技术的成熟，以及消费者需求升级，如今的VR头显、AR智能眼镜不只带有娱乐功能，应用场景拓展至教育、医疗、交通、旅游等多个领域。多位业内人士认为，AR智能眼镜是最有可能取代智能手机的消费品。
 
进一步需要思考的是，什么样的AR智能眼镜能成为智能手机之后的第二大电子产品呢？另一方面，今年Q1中国VR/AR市场出现下滑，性能提升成为VR/AR带动XR市场上升的关键，为此多家厂商相继发力音质、画质技术。针对VR/AR设备的技术迭代方向以及市场趋势，电子发烧友网与楼氏电子AISONIC DSP部门业务负责人廖彬彬 (Robin Liao) 就VR/AR设备的听觉体验进行了深度的交流。
 
 
音效处理单元在AR设备中做了哪些工作

视觉效果和听觉效果是AR/VR设备最重要的两大体验。Robin表示在听觉效果方面，一是需要注意音效，二是在使用AR设备时会用到的通话功能，“语音通话能不能比较好地上传到设备里面，并且在语音通话中需要降噪，回声消除等技术，这些功能的实现都需要用到麦克风和DSP芯片”。
 
一般而言，VR头显或者AR智能眼镜需要用到什么样的技术取决于它要实现哪些功能。就拿VR/AR最基础的游戏功能来讲，沉浸式是最重要的音效体验之一。为了实现更加丰富的声场，“双降噪麦克风阵列”“立体双扬声器”成为品牌厂商发布会上的关键词。
 
例如AR智能眼镜厂商XREAL（原名Nreal）在去年推出的XREAL Air带有立体双扬声器，搭配双降噪麦克风阵列，可以带来沉浸式空间声场。部分战术竞技游戏对音频细节的要求比较高，比如近期较为火爆的腾讯游戏《绝地求生》，能否清晰地出现脚步声对游戏玩家来说是决定胜负的关键。
 
听觉效果是AR/VR设备感知体验的另一个重要感知。那么，VR头显和AR智能眼镜分别需要怎么样的音频系统？
 
从使用场景来看，VR头显一般用于游戏场景会比较多，因此对音效的要求比通话的要求高，相对应的是，对音频输出的要求也会更高，对音频的上行要求相对较低。另一方面，VR头显的体积比AR智能眼镜要大，因此低功耗的要求也就相对没有那么强。
 
再来看AR智能眼镜的特点，一是因为设备体积问题，所以对麦克风、DSP等元器件的低功耗要求都比较高；二是声学元器件小型化；三是在使用场景上，一般AR智能眼镜更多会用来看电影、听音乐、接收信息，甚至是打电话等，在通话过程中对降噪等技术有更高的要求。
 
那么，麦克风等声学器件与降噪算法等音频技术之间可以怎么配合实现声音的处理呢？以AR智能眼镜为例，Robin表示，楼氏电子已有量产的DSP芯片，配合上行算法，能够实现高清的通话质量。
 
此前在电子发烧友网的拆解中，发现XREAL Air（原名Nreal Air）音频处理单元采用了全向MEMS麦克风的降噪设计，用以消除周围环境中的回声与噪声。XREAL Air一共使用了两颗音频处理芯片，其中一颗采用的是楼氏电子的DSP芯片IA8201。
 

图：XREAL Air音效处理单元
（电子发烧友网摄）

 
Robin介绍，IA8201在XREAL Air上需要做两件事：一是上行的语音通话处理。例如打电话时的拾音，然后把这个声音清晰地传递给对方，此时DSP需要做降噪、回声消除，甚至是低功耗语音唤醒等功能。二是下行的音效处理，楼氏电子与合作伙伴合作，在DSP芯片IA8201中加入了音效算法，用以提升AR智能眼镜在看电影、听音乐的音效体验。
 
应用在AR设备上的DSP芯片需要具备高算力、低功耗的特点。一是因为DSP芯片要运行音效算法，需要算力足够强大。二是因为AR设备的很多AI应用不接电源，对低功耗有更大的要求。IA8201正好满足这两大方面的要求。
 
对于VR设备，Robin表示很多VR设备在听觉效果上的需求跟AR智能眼镜是重复的。因此上述提到的针对AR智能眼镜的解决方案也能用于VR设备上。不一样的是VR设备对输出音效的要求会更高，另一方面VR设备有更大的空间去装音效处理单元。
 
作为业内知名声学元器件厂商，楼氏电子推出的动铁单元能够更好的应用于VR设备中，并且提升VR设备的听觉体验。动铁单元能够提升中高频的音质、高采样率的音质，并且实现无损音质传输。同样，VR设备也需要用到音效算法，通过DSP芯片+动铁单元的组合，在DSP上加入算法，能够在一定程度上提升整体的音质。
 
XR品牌厂商混战AI技术，音效提升有哪些技术难点

从去年至今，业内发布或者曝光的VR设备和AR智能眼镜新品不在少数。电子发烧友网整理了2022年至今发布的部分AR智能眼镜新品，从这些新品可以发现两大趋势：
 
一是在AR智能眼镜中加入摄像头成为新的趋势，这些摄像头能够带来手势交互、混合现实录制等更多的功能，例如李未可的Meta Lens S1加入了120°广角+800 万主摄像头，XREAL Air加入了双目SLAM摄像头+RGB摄像头，Rokid Max Pro加入了单摄像头。
 
二是AR智能眼镜的人机交互升级，从支持语音交互，到SLAM 手势交互，再到AIGC出现，加入了AI数字人的交互方式。在今年MWCS 2023年期间，中兴旗下品牌努比亚推出nubia Neo Air正是加入了AIGC，通过接入GPT模型能够实现语音助手聊天、语音查资料等功能。
 

图：部分AR设备厂商产品情况
电子发烧友网根据公开资料制图

 
 
毫无疑问，不管是VR设备还是AR设备，声学元器件都在终端升级过程中出现了新的挑战，一是低功耗，这几乎是所有电子产品的追求；二是在有限的设备空间中，麦克风、动铁单元等元器件需要在小尺寸的同时，满足VR/AR设备对音质的要求。那么，楼氏电子有哪些解决方案可以应用新的技术要求呢？
 
在低功耗方面，VR设备、AR智能眼镜的AI功能需要芯片有更高的算力以及低功耗水平。Robin举了个例子，在佩戴AR智能眼镜玩游戏过程中，想通过AI唤醒的功能打电话，此时就需要做到低功耗待机，又要用比较高的效率接收唤醒的信息。这些功能都需要一颗低功耗的DSP来实现。
 
在小型化方面，楼氏电子的动铁单元比普通的声学元器件都要小，例如RAN-33860-B148的尺寸仅为5.1×2.8×2.0mm。此外，楼氏电子还推出了智能麦克风IA-610和IA-611，由MEMS麦克风和DSP整合在一个超微型封装，尺寸跟一颗麦克风的大小一样。“如果客户对空间有极限的要求，放不了DSP，但又需要DSP做简单的语音处理，采用智能麦克风就能最大化节省空间，并且降低客户整体成本。”Robin表示。
 
面对AR/VR设备的市场需求，楼氏电子围绕音频DSP、MEMS麦克风、动铁单元三大产品线推出完整的音频解决方案，也就是说除了元器件之外，楼氏电子还有完整的软件和算法。“如果终端客户的产品侧重在通话处理，可以选择音频DSP+MEMS麦克风的解决方案，如果侧重于音效体验，可以选择音频DSP+动铁单元的解决方案。”上述提到的IA-610智能麦克风就是一个开放式的DSP平台，能够让合作客户快速推出定制化功能。