校准多个惯性测量单元（IMU）和各个轴的外参

3D视觉工坊 2023-07-08 1225

描述

摘要

大家好，今天为大家带来的文章是——Extending kalibr: Calibrating the Extrinsics of Multiple IMUs and of Individual Axes 越来越多的机器人系统配备了多个惯性测量单元（IMU）。由于竞争性目标，当用于控制时期望靠近重心，或者在与外部感知传感器集成时为了获得无阻碍的视野，单个IMU经常被安装在相当远的距离上。结果是，在平台受到旋转运动时，不同的IMU感受到不同的加速度。本文提出了一种方法，可以在基于开源相机/IMU标定工具kalibr的单个估计器中对多个IMU进行空间标定。我们进一步扩展该工具以确定IMU内在参数，从而实现对低成本IMU的精确校准。结果表明，扩展的估计器能够精确地确定这些内在参数，并且能够将商用级别IMU内的每个加速度计轴线定位到毫米级精度。

引言

随着惯性测量单元的成本稳步下降和集成视觉/惯性传感器的出现，越来越多的机器人平台配备了多个惯性测量单元。一个例子是装备有战术级IMU的Boston Dynamics四足平台[1]，该IMU被刚性安装到立体相机设置中，并用于视觉/惯性测距，而导航级别的IMU则安装在机器人体内。另一个例子是Shen等人的四旋翼平台[2]，该平台使用低成本IMU进行自动驾驶低层控制，以及额外的高性能IMU进行视觉/惯性运动估计。这些平台的共同之处在于它们采用主IMU，该IMU的位置和对齐方式对于运动（即靠近重心并与平台的主轴对齐）具有意义，并且第二个辅助IMU安装在某些外部感知传感器的附近，位置上受到平台本身的最小阻碍。对于大多数平台，这两个位置将非常不同。为了理解来自辅助传感器套件的自我运动估计，以进行控制和运动，它们必须转换为主IMU的坐标系。为此，需要准确估计两个坐标系之间的转换。

虽然可以估计两个IMU相对于外部感知器的转换并随后链接它们，但很少有工作涉及在单个估计器内融合多个IMU的测量。我们认为其中一个原因在于需要建模在加速度计输入轴（IA）以外的任何位置感知到的加速度所需的角加速度--这通常不直接测量。虽然可以从陀螺仪感知到的角速度测量数值微分来推导角加速度的估计值，但我们在这里采用了不同的方法：Furgale等人提出的成批持续时间估计框架[5]拟合表示两个坐标系随时间演变的样条曲线来适应一系列定向和角速度测量。假设角速度变化平滑，则可以直接从此方向曲线中导出角加速度的估计。

相同的估计器可用于进一步的应用：高端IMUs通常为加速度计测量每个轴使用一个集成电路（IC），而不是使用单个IC将所有轴组合在一个芯片上。各个轴可能相距数厘米，这违反了它们在一般运动下受相同加速度的假设。如果未加考虑，这会引入误差，有时在导航文献中被称为“尺寸效应”[6]。因此，应考虑各个轴相对于输入参考轴（IRA）原点的偏移量，以获得最大的标定性能。

本研究的贡献如下： 1.我们推导出一个估计器，用于同时内在和外在标定多个 IMUs与一个或多个外部感知传感器相关联。 2. 我们将该估计器推广到另外确定各个加速度计轴的位置。 3. 我们提供了一项全面的实验研究，演示了精确的内在标定，并显示了在商业级IMU内定位单个加速度计轴的可能性。该方法是作为开源相机/IMU标定工具箱kalibr2的扩展实现的，并将作为其更新发布。

相关工作

本文研究标定包含一个或多个IMU和一个或多个外部感知传感器的传感器组合。标定的目标是提高从所有可用传感器融合测量得到的状态估计结果。因此，估计IMU与外部感知传感器之间的外参是该方法的重要部分。我们将限制相关工作的回顾范围，仅关注类似的方法。

然而，已经有大量的研究致力于解决标定冗余IMU的问题，但不是着重于与其他传感器进行融合应用。在这方面，进一步的文献综述起点可能是Pittelkau等人的工作[16]，Hwangbo等人的工作[17]和Nilsson等人的工作[18]。

Mirzaei等人[8]和Kelly等人[9]提出了一个基于扩展卡尔曼滤波（EKF）的框架，通过记录标定序列以估计IMU和相机之间的变换关系。Fleps等人[11]使用类似的标定程序通过批量优化确定这些量。他们的方法估计了一个作为样条编码的连续轨迹，而不是将运动表示为离散状态的序列。Furgale等人[7]采用了类似的连续时间方法，但还将相机和IMU之间的时间偏移估计折叠到估计器中，该参数先前曾在单独的过程中估计过（[10]，[12]）。

Krebs通过IMU内参扩展了该方法[15]。同样，Zachariah等人[13]将内参数纳入离散时间σ点卡尔曼滤波器（SPKF）估计框架中。最近，Li等人[14]展示了作为在线状态估计框架的一个完整部分，估计相机/IMU外参、时间延迟和IMU内参，使用多状态约束卡尔曼滤波器（MSCKF）。与这里回顾的其他方法不同，他们的方法使用自然视觉地标而不是专用的标定图案，并额外估计相机内部参数焦距fc、主点cc和畸变参数kc。

我们的方法基于[7]，将该方法扩展为将多个IMUs合并到单个估计器中。可以使用同样的公式确定各个加速度计轴的位移，即使只包含一个IMU的传感器组合也能得到更完整的模型。从[15]借鉴，将IMU内参添加到标定参数中以改善结果。

表I总结了这些方法，使用将在第III-D节中介绍的符号。星号标记在单独的前置步骤中进行时间校准的方法。

表1

卡尔曼滤波器

方法卡尔曼滤波器

A. 坐标系约定

卡尔曼滤波器

B.加速度模型

1. 模型

1）我们用9个控制点参数化每个对象的3D模型。9个点分别是3D模型标定框的8个角点和对象3D模型的中心点。

2）模型的输入是RGB图像，然后用全卷积架构对图像进行处理，如1（a）所示，图像被划分为S*S个单元，如1(c)所示，每个单元会输出9个控制点的2D图像坐标，对象的类别概率3和一个整体的置信度值。网络的输出存储在一个S*S*D的3D张量中，如1（e）所示。

我们通过一个置信度函数计算：卡尔曼滤波器

计算的主要依据为预测的点到目标点的距离。

3）整个网络在YOLO v2架构上进行扩展。

2. 损失函数

整个网络的损失函数如下所示：

3. 位姿预测

对于单个对象占据多个单元格的情况，我们在单元格3*3的邻居范围内寻找拥有最大置信度值的单元格，预测值则通过加权计算各个单元格的检测结果获得。

最终，我们根据网络输出的9个控制点结合PnP算法计算对象的6D位姿。