传感器数据融合：提升增强游戏、导航和虚拟现实用户体验的关键组件

作者：Kaustubh Gandhi，Bosch Sensortec软件产品经理，与Bosch Sensortec传感器数据融合软件系统工程师Amithash Kankanallu Jagadish合著

简介

无论是智能手机、可穿戴设备、虚拟现实耳机，还是机器人吸尘器，当今用户都期望并要求这些设备始终按照指令运行，并平稳、准确地适应不断变化的周围环境。这需要精确的感测俯仰、滚转和航向方向，而这些则是通过从设备内置的加速度计、陀螺仪和磁力计收集的数据融合实现的。

通常在现实世界中，事物永远不会像其看起来那么简单，例如，准确确定航向（观测）方向便是一项巨大挑战，因为磁力计测量受到附近多个物体的负面影响。这些干扰性磁场影响，通常称为硬铁和软铁扭曲，可能由位于设备本身内的各种元件和用户周围环境中的外部磁性物体引起。

本文旨在深入洞察和理解在当今电子消费设备中获得可靠传感器数据所需的有效设计技术和软件解决方案，并提高用户对最终产品的满意度。本文将提供强大传感器数据融合技术的示例，例如基于在标准使用期间获得的陀螺仪信号，对估算磁力计偏移加以利用，及其对用户相关特征（例如行人和头部跟踪）的影响。

磁力挑战

您是否曾由于智能手机导航应用程序给出了错误的指示，而找错了环岛出口？使用虚拟现实耳机时，您是否经历过突然的眩晕？或者您的“智能”机器人吸尘器是否一再被卡在角落里？这些问题中的大多数，至少部分，是由不精确的惯性传感器数据融合导出的不正确航向信息所造成的。那么，为什么最先进的高精度传感器仍然会记录不准确的信息，并且产生如此大的偏差？

在实验室外，所谓的地球恒定磁场的刚性磁线不断被各种物体修改，如门框、桌子、椅子和其他金属物品。基于其特定磁特性，这些物体通过称为硬铁和软铁扭曲的现象改变其周围的磁场。

图1：罗盘误差的来源：外部磁场

诸如NdFeB、AlNiCo等硬磁材料（“硬铁”）引起高残余B场或“磁记忆”，而软磁材料（“软铁”）则通常是诸如铁（Fe）、镍（Ni）等材料及其合金。

当磁力计用于设备中时，硬铁扭曲由产生磁场的物体造成，例如扬声器内的磁铁，由此导致传感器输出中称为“恒定偏移”的偏差，然后需要对其进行补偿。另一方面，软铁扭曲则是由“被动”影响或扭曲其周围磁场但自身不一定产生磁场的物体造成的，例如存储卡插槽、电池、无线天线、门窗框架和各种其他周围环境中的标准对象。这种类型的扭曲改变了磁球的实际形状，并且很大程度上取决于材料相对于传感器和磁场的定位。

如图2所示，在典型的室内区域，由于一般物体引起的磁场扭曲，罗盘方向变化很大，即罗盘的红色“北”针指向各个方向。

图2：典型室内区域传感器读数（磁力计）的变化

因此，补偿硬铁和软铁扭曲对于获得有意义的磁力计读数至关重要。这种补偿需要在设备设计期间进行复杂的程序，并且在实际使用期间将结果结合到传感器的软件中，如下文中的进一步描述。

接受扭曲

以下系统方法可用于补偿影响磁力计读数的失真：

·使用软铁矩阵在设计阶段进行补偿

·通过标准“八字形动作”在使用中校准软件

·通过“自然使用动作”智能校准软件

使用软铁矩阵在设计阶段进行补偿

来自位于终端设备（例如智能手机）内部部件的软铁扭曲是恒定的，因此可以通过使用一次性解决方案来补偿。这种补偿需要所谓的“软铁补偿矩阵”（SIC Matrix），对此，设计者在设备中具有更广泛的布局选项。这些补偿后传感器的读数具有明显更高的精度，与未补偿读数相比达±2°，其中误差范围可以轻松达到±10°。校准通过3D线圈系统（亥姆霍兹线圈）进行，该线圈系统由在同一轴上对中的两个螺线管电磁铁组成，可抵消这些干扰性外部磁场，以提供“清洁”的磁环境。带有惯性传感器的设备被放置在此清洁环境中，并接受测量，以创建磁力计的原始数据记录，然后将其输入数据驱动工具，生成SIC矩阵。之后，该SIC矩阵将合并至软件驱动器中，并永久补偿影响磁力计数据的设备内软铁扭曲。

这种方法可以在实验室条件下估算软铁效应，当然，使用过程中的变化和附加设备的影响无法得到补偿。尽管如此，这依然是一种非常有效的设备内部件校准技术，强烈建议于设计阶段在传感器制造商专家的帮助下准确生成SIC矩阵并加以应用。

图3：3D（亥姆霍兹）线圈，用于设备内磁力计校准

遗憾的是，在通常情况下，当应用于实际PCB时，实验室校准结果无法准确工作，因为其中会生成被称为“禁区”的区域，使这些装置的准确性极度降低，以致完全无法使用。

Bosch Sensortec的3D软铁补偿技术大大减少了这一“禁区”现象。例如，如果在距离NFC天线仅9mm处测量传感器数据失真，在补偿之前，最大航向误差为8°，而在补偿之后，所有海拔高度的最大误差仅为1.5°。

通过“八字形动作”在使用中进行校准

此方法并非实验室密集型，但只需通过在已知的磁性清洁环境中移动设备（例如智能手机）便可收集大量有价值的数据。理想的动作是指沿最大定位范围测量磁性的运动，由此帮助估算所有情况下的磁偏差。因此，该技术通常使用覆盖所有三个轴向的八字形运动来执行。

图6：令智能手机在3D空间中以八字形图案移动

该图案可描绘出由磁性扭曲而变形的磁球部分。从获得的坐标可以非常精确地估算磁球变形，以导出所需的校准系数。使用该方法估算的偏移将用于补偿来自外部环境的硬铁扭曲。

图7：没有偏移补偿的传感器数据

图8：有偏移补偿的传感器数据

相当多的智能手机设备和操作系统制造商仍然依赖于这种八字形校准技术。出于校准目的，当今的智能手机经常提示最终用户使用地图应用程序在空间中进行八字形动作。但是，通过在3D空间中移动设备来创建此模式可能需要10秒以上，并且如果用户将其手机用于较为紧急的目的（例如玩动作游戏），或执行对安全性要求较高的任务（例如在汽车内使用智能手机导航），那么暂停游戏会让玩家十分扫兴，而将注意力从驾驶汽车转至校准设备则会造成安全风险。

尽管如此，还是通常建议用户使用这种方法，因为它可以提供可靠的结果。但是，只有当用户实际上能够花时间重新校准设备，并且物理上允许通过在3D空间中以八字形移动设备时，此方法才适用。

通过“自然使用动作”进行智能校准

尽管八字形动作非常适合智能手机，但在物理上也许并不可行，并且可能对其他类型的设备来说，执行起来会比较困难或奇怪，例如腕部可穿戴设备、增强/虚拟现实耳机、入耳式可穿戴设备和机器人吸尘机。

磁力计校准背后的基本理念在于通过估算磁球与地球磁场矢量的偏差作为半径来估算磁力计的偏移。为了降低校准所需的时间并以更小、更自然的运动校准设备，可使用陀螺仪信号辅助磁场传感器的校准。

校正后的陀螺仪信号相对于最后磁场值定义其旋转。一旦确定了新的磁场值，便会将其馈入扩展卡尔曼滤波器（EKF）。EKF估计磁力计偏移和磁场矢量的大小（半径）。磁强计干扰检测基于卡尔曼滤波器的残差。

由于这些快速传统型磁力计校准器利用陀螺仪数据，因此在重新校准过程中被校准的设备必须处于静止状态，即陀螺仪本身在校准期间不会漂移。然而，对于较新的“体戴式”装置而言，这并不可行，因为这些时刻、并且是在较长的时间段内处于使用和运动中。

定义了这个问题后，Bosch Sensortec专注于通过开发“自然使用型”快速磁力计校准软件来迎接挑战。该软件针对每种不同类型设备的典型用途获得配置，即使这些处于恒定运动中。其目标在于确保即使用户不必做出任何特定、有意的动作，设备中的惯性传感器也可以自动且准确地校准，以实现在变化环境中的使用。

以下将介绍可穿戴设备、控制器和耳机的几个示例：

腕部可穿戴设备

对于佩戴腕表或健身追踪器的人来说，经常浏览设备、查看计算的步数或燃烧的卡路里、阅读消息通知，或只是查看时间再自然不过了。由于大多数用户不知道自己位于会影响其磁力计的材料附近，或者甚至在其设备中安装了磁力计，因此设备需要在不知情的情况下在后台执行校准。此外，如果用户必须在空中挥手以校准“智能腕表”，看起来会很奇怪。因此，Bosch Sensortec磁力计校准器可在后台静音工作，无论何时用户查看手腕，都可以补偿磁力计偏移。

统计学已经证明，只需做出两三个“查看”设备的动作，这种用于可穿戴设备的快速磁力计校准器便可估算出偏移，而且以典型且较低的数据速率运行。

图9：腕部可穿戴设备中航向误差的系统消除

该校准程序对室内和室外导航应用都很有效。例如，使用九轴惯性传感器估算用户位置和步行轨迹的PDR（行人航位推算）应用程序在激活校准器时具有相当高的精度。下面的例子清楚地表明，虽然两个轨迹估算都是从0.0开始，但在约为2x200m的短行走距离中未校准设备的累积航向误差导致的位置误差超过43％。

虚拟和增强现实耳机

与此类似，现实中无法要求虚拟现实耳机的用户经常以八字形运动移动其头部，尤其是佩戴耳机时。特别是对于耳机，由于大脑会记录用户实际运动和在屏幕上看到的视觉图像之间的对准偏差，即使相对较小的航向和水平倾斜偏差也可能导致非常不愉快的眩晕症状。

Bosch Sensortec的耳机磁力计校准器校准磁力计，同时用户可自然地将头部绕颈部轴线移动。校准的积极效果已明显地在头部跟踪算法和多个AR/VR子使用案例中的关键性能定位结果中得到证明。

图12：AR/VR耳机——带磁力计校准的动态运动

游戏控制板，VR/TV遥控器

随着定向传感器渗透到越来越多的电视遥控器中，以及VR遥控器和游戏控制板向应用程序开发者提供越来越复杂的服务，收集准确可靠的航向数据并使真北与内容显示设备彼此协调变得至关重要。这一问题尤其体现在，当用户手持控制装置时，尽管他们的手静止，但依然看到光标在前进中漂移，或光标朝着与其实际手部动作不同的方向移动。

同样，Bosch Sensortec的磁力计校准器考虑到遥控器或游戏控制板的自然运动，并大大减少了航向偏差，如下面的实际数据所示。

图13：游戏控制板/VR遥控精度与磁力计校准

综述

3D线圈和数据驱动工具的组合可用于创建和利用SIC矩阵，此外，通过借助用户界面通知用户进行八字形动作，和集成自然使用型快速磁力计校准器软件，九轴传感器数据融合的可靠性如今获得大幅提升。这一点非常重要，因为磁力计精度和传感器数据融合是智能手机、可穿戴设备、AR/VR耳机和控制单元，甚至机器人真空吸尘器等各种设备的重要组成部分。

Bosch Sensortec的3D软铁补偿将“禁区”减少了70％，为设计师和布局工程师提供了更大的灵活性和准确性保证，并显著降低了对产品再原型设计的需求。

此外，使用中校准以及智能校准技术通过降低现代环境中普遍存在的硬铁扭曲，大大提高了航向精度。虽然使用中校准依赖于用户在三维空间中进行八字形动作，但Bosch Sensortec开发的智能校准器可以巧妙地融合设备自然使用期间收集的传感器数据，以实现相同的结果。例如，对于智能腕表等可穿戴设备，软件通过传感器数据融合提高了行人跟踪的可靠性。与此类似，通过分析耳机用户的各种典型动作，例如躲避、低头和弯腰、跳跃和坐下等，Bosch Sensortec比市面上其他类似的传统型解决方案实现了更高的传感器数据融合精度。

虽然航向精度的提高只是传感器数据融合如何改善最终用户体验的一个例子，但Bosch Sensortec的传感器数据融合软件中还包含其他多种算法，可以帮助设备制造商令自己的设备脱颖而出，并大大改善终端用户体验。