先进的图像处理使无人机能够发挥其潜力

实时图像处理硬件具有巨大的潜力，可以有效和实际地解决自治系统当前面临的许多问题。最近一项关于自主机载加油的试验表明，将图像处理应用于一个极具挑战性的问题具有潜力，并取得了巨大的成功。

无人机（UAV）吸引世界各地军事组织如此多的兴趣和投资的原因有很多。通过不危及飞行员的生命，他们可以飞行那些被认为太危险的任务。真正的自主性 - 许多无人机研究的目标 - 可以全面减少人员。任务长度可能不是飞行员疲劳的函数，这一事实非常有吸引力。

然而，在太阳能成为可行的替代方案之前，任务长度不仅受到飞行员相关因素的影响，而且还受到加油需求的影响。理想的无人机将永远不需要返回基地加油，这一要求一直是对机上加油进行大量研究的核心。

GPS技术的潜力已经花费了大量的开发工作，使加油机和接收器无人机能够在彼此足够近的距离内移动，以便将燃料探头对接到无人机上。然而，所需的精度程度 - 特别是因为任何一艘飞行器都容易受到湍流等干扰因素的影响 - 处于GPS精度的外部极限。需要开发一种替代技术 - 使用先进的图像跟踪和图像处理系统 - 以补充GPS系统，以实现复杂，高度复杂的机动（图1）。

图 1

评估该替代方案是由国防高级研究计划局（DARPA）和内华达山脉公司（SNC）开发的联合项目先进机载加油示范（AARD）的目标。这项共同努力产生了自主探测和无人机空中加油的首次成功演示，并在NASA德莱顿飞行研究中心进行。

DARPA和SNC决定在演示中使用探头和干燥（或软管和机器人）加油方法，因为它被广泛认为是最难自动化的 - 这是软管的灵活性及其对空气动力学干扰的敏感性的函数。Octec（现在是GE发那科智能平台的一部分）和内华达山脉公司合作开发和提供图像捕获和处理功能，这些功能是演示成功的核心。

挑战

在项目开始时，必须执行许多关键研究，例如确定图像跟踪设备的最佳视点位置和确定理想视场等，这些研究是相互关联的。

这些研究包括对替代图像捕获方法的评估。众所周知，无论选择哪种技术，都要求在100英尺的范围内提供约36英寸的范围测量精度，以确定探头和光晕的相对位置，在12英尺的范围内接近4英寸的精度，以允许探头插入。

在选择图像捕获设备和用于传输捕获的图像数据以进行处理的介质时，关键考虑因素包括：

捕获图像的分辨率

设备的坚固性

尺寸和重量

传输介质对电磁干扰 （EMI） 的敏感性，预计在射频丰富的环境中会出现电磁干扰 （EMI）

确定高分辨率数字传感器将是理想的解决方案;然而，由于定制跟踪器硬件以满足传感器的数字接口标准所需的任何开发时间，因此无法采用它。虽然高密度光纤传输线被认为可以提供最佳的EMI抗干扰能力，但测试表明，它的图像分辨率非常差，以至于跟踪器无法在扩展的30米范围内检测到几像素的物体。光纤电缆也遭受了相对大量的坏点/光纤。

最后，发现标准NTSC摄像机可以提供足够的图像分辨率，以在30米的范围内分辨流浪汉和篮筐。选择了相机的“遥控头”版本，以最大限度地减少所选安装点的尺寸和重量影响。显示，相关的传输电缆具有可接受的EMI电阻，并且视频质量没有显示出任何明显的图像干扰伪像。

评估其他传感器安装位置

尽管该应用程序最终适用于完全无人平台 - 加油加油机和无人机 - 但演示是使用载人NASA F-18飞行研究飞机进行的（如图所示，文章的第一页）。F-18上远程传感器的四个最佳位置由NASA机组人员确定，但所需飞行剖面和视点的建模和模拟将选择限制在两个。平视显示器（HUD）视图为流浪汉提供了接近操作范围，并提供了流氓在视野内的最大可能性。从舷内右塔架的视野在终端阶段提供了良好的轨迹可见性，并且具有作为现有相机位置的优势。然而，这两个安装点也有缺点，需要考虑。

这些缺点在很大程度上是由于跟踪算法在drog目标上至少需要几个像素才能识别和跟踪;这与NTSC传感器的分辨率相结合，决定了最大视场（FOV）为55¬∞。太狭隘的视角会使获取机器人变得更加困难，并且还会在机器人靠近时引起问题，从而填满整个视野。在事件中，最佳视场被确定为55¬∞。

出于演示的目的，主要使用两个摄像头位置来评估其有效性。然而，在无人机环境中部署图像处理硬件只需要一个摄像头，从而最大限度地减少了重量和功耗，并避免了在机身上的多个位置安装两个或多个摄像头传感器所带来的进一步复杂性。这是可能的，因为在创建能够准确估计单个相机范围的算法方面进行了大量的开发工作。

在开发算法方面也做出了规定，以消除可能在捕获的图像中被错误识别的背景混乱。例如，在某些照明条件下，一些飞机结构，如发动机排气喷嘴和燃油软管出口孔，在很远的距离上看起来非常像droge。油轮后面应避开的区域-称为“回避量”-是通过模拟确定的。

准确识别滚轮相对于软管的位置和距离的另一个挑战来自试验视频分析。这表明，行车外缘的不稳定性使其成为一个不合适的参考点。然而，发现droge的实心内轮毂表现出稳定的高对比度，使传感器相对容易识别并提供实用的校准参考点。

从单个相机开始测量范围

为开发适当的范围估计算法付出了巨大的努力，并提出了两个。一种是基于经典的质心方法;另一种是基于模型的方法。这些算法在 MATLAB 中实现，并针对模拟模型进行了测试。

确定每种算法都有互补的优点和缺点。基于质心的方法由于测量图像像素中的区域而提供了出色的分辨率，而基于模型的方法通过将观察到的视频模式与已知参考进行比较，更稳定，更准确。

图3a和3b显示了每种算法根据视频序列中每个图像场的已知真实范围报告的估计值。正如预期的那样，基于模型的方法在更远的范围内比基于质心的方法更嘈杂;然而，基于质心的算法在精确测量的能力上受到增益和失调偏差的影响。

图 3

决定实现并行运行的两种算法。这导致测量精度在大约3米的范围内优于10厘米。期望的精度最初被指定为1西格玛（即68%的时间）标准差;获得的精度主要更好（也就是说，它在大约90%的时间内在给定范围内 - 几乎是2西格玛标准偏差）。

自动机载加油演示的核心是Octec的基于ADEPT-60传感器的视频跟踪和图像处理模块。它本身配备了多种图像处理算法，并进行了扩展，以便能够将新开发的算法的测量结果组合在一起。这提供了灵活性，可以选择性地估计范围，而无需基础算法之间的直接交互。

当droge靠近加油机时，它所占据的视野比例越来越大 - 从距离30米的几个像素到对接阶段视野的一半以上 - 导致需要修改跟踪算法以在内存中包含目标的可调整大小的图像模板， 这是使用估计的机器人大小动态更新的。模板图像还用作在间歇性轨迹丢失时重新获取 drogue 的第一阶段机制。

如前所述，为图像传感器选择的安装点并非没有缺点。其中最重要的是担心HUD驾驶舱窗口会引起明显的图像失真。这个问题通过使用飞机和机库周围各种3D点的“真实世界”测量来校准系统，并通过图像捕获传感器跟踪这些相同的点来解决。在MATLAB中编写了一个优化例程来对相机和镜头参数进行建模，并且通过模型重新投影已知的3D点，并与视觉系统测量的点进行比较。这允许修改处理算法以补偿相机视野中的异常。

下一阶段

该演示证明，可以实现应用先进的基于视觉的传感器进行图像捕获和最先进的图像处理技术，以增强复杂的基于GPS的定位系统的现有功能。但是，最大限度地提高该技术的可行性和可部署性的工作仍在继续。可以提高获取目标图像的整体性能。操作范围 - 可以捕获机器人的初始距离 - 也可以扩展，从而减少对基于GPS的非常精确的测量的依赖。最后，将开展工作以实现机器人类型识别，识别异常的机器人行为以及照明和天气条件的影响。

审核编辑：郭婷