AR可视化可实现人类与机器人之间产生互动

现如今，机器人被越来越多地应用于制造业和仓储物流领域。但是，在这些工作环境中，工作人员与机器人的活动空间通常被隔离开。因此，如何使人类与机器人之间产生互动尤为重要。

人类与机器人的交流方式不同。具体来说，人类习惯使用语言和手势进行交流。而机器人则以数字形式交换信息，如，文本命令。这有可能导致人类与机器人之间的交流产生偏差。

增强现实（AR，Augmented Reality）技术能够将机器人的行为可视化，从而弥补机器人与人类之间的沟通障碍。不仅如此，AR 还提供了高带宽和模糊性低的可替代通信机制。

目前，基于 AR 的可视化系统都是由人工设计的，会出现可视化信息太多或太少的情况。当可视化信息太少时，用户会发现 AR 界面无法发挥作用；当可视化信息过多时，对用户来说，处理相应的信息便相对困难。

 

为了使人类与多机器人之间能够产生更好的交互体验，研究者用模仿学习方法实现了 AR 的智能化，开发出名为“模仿学习式 AR 可视化”（VARIL，Visualizations for Augmented Reality using Imitation Learning）技术框架。

美国纽约州立大学宾汉姆顿分校计算机科学系在读博士生基山·坚登（Kishan Chandan）、本科生杰克·艾伯森（Jack Albertson）、张世琦教授为论文作者。

VARIL 技术辅助人与机器人之间进行有效互动

VARIL 技术能够辅助人与机器人之间进行有效的互动。它通过分析机器人和人的状态决策哪些信息、什么时间、以什么形式被可视化。

图 | VARIL 框架（来源：CoRL）

具体来讲，VARIL 技术可以用 AR 接口同时跟踪多个机器人状态、动态选择 AR 可视化动作，包括 AR 帮助搬运工人感知机器人的位置和规划运动轨迹等。

在 VARIL 中有两个不同的人类实体，一个是人类工作者的角色，另一个是人类专家。假设一组机器人与一个人类在同一空间工作。这组机器人不断使用 AR 接口共享状态和计划。与此同时，人类能够使用该 AR 接口跟踪机器人团队的状态。

人类工人与机器人团队合作，同时完成任务。在进行 VARIL 技术演示的过程中，人类专家参与进来，负责指示在特定时间内可视化（或不可视化）哪些信息。

一旦生成新的策略，AR 智能设备就会更新可视化信息，模仿人类专家演示者建议的操作。值得注意的是，专家只在策略学习阶段参与进来，一旦智能设备学习到相关的策略，就不再需要人类专家。

在不同的 AR 可视化策略下完成任务

论文中提到，为探究虚拟人与机器人在不同的 AR 可视化策略下完成任务的情况，研究人员创建出用于模拟仓库环境的演示平台（具有内置实验室）。平台不仅便于人类与机器人相互协作，而且可以对 VARIL 框架进行经验评估。

图 | 虚拟人与机器人在不同的 AR 可视化策略下完成任务（来源：CoRL）

在虚拟的仓库环境中，研究人员设定 12 个机器人与 1 个虚拟人类合作完成系统交付的任务。机器人的任务是将物体运送到不同的地点（卸货站），人类帮助等待在卸货站的机器人卸货。

图 | 两种不同规模的仓库环境（来源：CoRL）

在没有 AR 可视化的情况下，人类工人无法获取机器人的位置以及了解机器人计划做什么；在 AR 完全可视化的情况下，虚拟人类可能会被视觉指标淹没；在模仿学习 AR 可视化（VARIL）的情况下，AR 软件机器人使用学习到的策略，根据人类和机器人的交互动态确定可视化策略。

完成任务后，研究人员收集了 6000 个“状态-动作”成对数据集。他们还用迭代模仿学习算法在该数据集中训练 AR 智能化设备。

然后，他们将两种可视化策略进行了比较。结果表明，随着模仿学习迭代次数的增加，行动与策略之间的冲突急剧减少。此外，初始策略与训练后获得的策略相比，后者可减少机器人的等待时间。

之后，研究者还用 25 个真实参与者评估了 VARIL 是如何影响用户体验的。在仓库中，每个参与者都被要求操作一个虚拟人，并填写一份主观评价调查问卷。

图 | ARROCH 和 CRMIAR 两种可视化系统（来源：CoRL）

真实人类参与者的实验结果表明，与文献中的两种可视化系统（对照组）生成的基线相比，VARIL 技术能够显著提高人类与机器人交互效率，同时减少人类用户的分心水平。

除了定性评估外，研究者还比较了人类学习期间的任务完成时间。结果显示，VARIL 技术能够使人类与多机器人协作团队的任务完成效率显著提升，使机器人等待卸货的时间降低了 15%。

虽然研究人员使用机器人演示 AR 人机交互系统，但是在真实世界中构建和评估这种系统十分困难。

因为，人类工作人员需要在投递站之间行走。在投递站中，每个导航操作都可能需要很长时间。更复杂的是，机器人需要实时合作来完成任务，如果其中一个机器人被困在动态障碍上，可能会提前终止试验。

开源模拟器可以模拟仓库环境，避免出现上述问题。尽管这样的模拟器并不能克服人机协作的所有挑战，但它能够令 AR 研究人员专注于设计算法，而不是繁琐的软件开发工作。

未来，研究团队还将通过问卷调查的方式进一步评估 VARIL 的用户体验，并优化 VR 人机协作系统。

参考资料

Kishan Chandan，Jack Albertson, Shiqi Zhang，CoRL，（2022）.https://kishanchandan.github.io/varil.html

编辑：黄飞