扫地机器人加装了六轴机械臂！

自2000年代初大规模生产以来，扫地机器人已成为家庭自动化领域非常成功的商业产品。

近年来，在市场需求的倒逼下，诸多相关企业通过在扫地机器人上集成扫地、拖地、自动补水、自动集尘、自动洗拖布、自动烘干以及除菌等各类功能来增强扫地机器人的实用性与使用便捷性。但由于缺乏“手”没有对物品的操纵能力，大多数扫地机器人仅能承担地面清洁工作且对地面环境有一定要求，适用性仍有待加强。

如果对扫地机器人进行加装机械臂的升级处理，扫地机器人是否能够处理更为广泛的家务，将人类从家务中更多解放出来，助力人们节省更多时间和精力？前不久，由伊利诺伊大学厄巴纳-香槟分校(UIUC)JoohyungKim教授运营的动能智能机器实验室（KIMLAB）提出了一种模块化附加系统。

该系统可以实现机械手与现有的扫地机器人无缝集成，只需对真空机器人进行较少的改动即可轻松连接和拆卸机械手，并在不影响扫地机器人原始功能的基础上对进行更为广泛的功能扩展。   

通过添加6-DOF操纵器、用于实现卓越感知的RGB-D摄像头以及用于增强导航的LiDAR传感器，该附加系统可极大提升扫地机器人感知和操纵能力，可扫地机器人执行导航到地图上特定位置、打开门、抓取物体并将其放置在指定位置等任务，具有巨大实际应用潜力。

这一系统具体是怎样实现的呢？接下来就和计算机视觉life一起来深入看看吧！

▍六自由度机械臂如何集成到扫地机器人？

在进行为扫地机器人硬件平台添加操纵功能的尝试中，研究人员此前曾进行过两项研究实验。

一项研究为将带有夹具的4自由度(DoF)机器人手臂连接到扫地机器人上，执行打开抽屉或拾取轻物体等任务。另一项研究为在扫地机器人上集成双3-DoF肢体，帮助其克服移动底座的挑战性障碍。

通过实验，研究人员证实了为扫地机器人增加操纵能力存在潜力，并发现在实际应用中，为扫地机器人加装的机械臂需要在自由度、工作空间、负载能力等方面具备更强能力。此外，研究人员还认识到，机械手直接安装到真空机器人可能会对扫地机器人有效负载能力造成较大负担，在不对扫地机器人进行重大修改的情况下，将机械臂牢固安装在扫地机器人顶面，并保证扫地机器人不侧翻、机械臂性能发挥不被影响存在一定挑战。

针对以上问题，研究团队经多次方案设计讨论后，最终决定了采用对扫地机器人改动程度最小的模块化附加解决方案。

在实验器材选择上，研究团队选用了带有夹具的可插拔六自由度机械臂PAPRAS（即插即用机械臂）作为加装机械臂，iRobot的Create2Robot可编程扫地机器人作为移动底座，并创建了一个可以连接到扫地机器人和机器人的附加结构以集成两者。   

系统规格

附加结构由臂安装插座、支撑腿和附件平台组成，结构框架主要用过3D打印制造。为了将附加结构连接到真空机器人，3D打印部件被植入机器人的顶面，从而可以使用两侧的闩锁和磁铁进行安全连接。

在附加结构正面，配置有一个用于2DSLAM功能的LiDAR，背面的电池为机械臂和附加系统的组件提供电力。附加组件的电池与底座电源采用分离式设计，这使得扫地机器人的电池使用时长不会受加装影响。在组件布置上，附加结构的质心也和扫地机器人的质心尽量重合。

(a)组装机器人系统。(b)系统的分解图。

作为机械手的固定装置和安装平台，附加结构设计有支撑腿。从中心向外延伸，附加结构有4个末端带有滚珠脚轮的腿。当安装在扫地机器人上时，滚珠脚轮可保持与地面的接触。这有助于分配附加结构和机器人手臂的重量，使移动底座免于承载负载，并允许充分利用手臂的有效负载能力，而无需担心底座机器人过载或翻倒。

附加结构每条腿末端的球脚轮扩展了支撑多边形，使机械手能够使用其完整的运动范围，而不会出现翻倒的风险。这也增强了手臂远距离处理有效负载的能力。手臂可以在其最大可达范围的75%处拾取1kg的物体。

加装附加结构后的工作区。所有单位均为毫米。(a)侧视图中的工作区。(b)末端执行器负载1kg时的最大机械臂跨度。虚线显示没有负载时可到达的工作空间。

同时，附加结构的应用使机械臂PAPRAS系统模块化，无需复杂的紧固过程或繁琐的电气接线问题，只需将附加结构进行安全放置和锁定，便可以快速轻松地将机械手部署到扫地机器人上。一旦机械手与安装座完全接合，电源和通信的电气连接就会通过机械手底部的连接器自动建立。

▍模块化附加系统的设计和实现

在进行附加结构这一硬件设计制作的同时，研究团队也就附加系统进行了设计。

附加系统包括一台用于操作机器人手臂的计算机和另一台用于感知的计算机。扫地机器人软件堆栈由负责不同任务的多个模块组成。主操作PC负责规划、导航目标以及与机器人硬件的接口，而感知计算机则负责感知堆栈并处理来自相机的数据。拟议的系统包括移动机器人自动化家务任务的基本功能，例如SLAM和感知功能。将六自由度机械臂和用于导航和感知的附加传感器结合到扫地机器人中，使得系统能够执行实际的家庭任务。   

带移动底座的PAPRAS附加软件系统设计。

感知模块

感知模块使用连接到机器人手臂末端执行器的RGB-D相机来提供高分辨率的颜色和深度信息。该模块采用OpenCV的斑点搜索算法进行2D对象检测，该算法识别二值图像中具有相似强度和大小的区域，并将它们分组为斑点。该算法提取图像帧中与感兴趣对象相对应的斑点的位置和大小。

同时，要估计物体在3D世界中的位置，需要额外的信息，例如物体的深度或距相机的距离。

假设感兴趣的物体位于点（, _ _）在相机图像中，其深度为z，研究人员使用针孔相机模型计算物体在相机坐标系中的3D位置：

在这里FX和Fy分别是相机沿x轴和y轴的焦距，CX和Cy是图像平面中主点的坐标。3D对象位置估计可用于对象操纵和避免碰撞任务。

状态估计

扫地机器人的状态估计模块对于其导航和执行移动操纵任务的能力至关重要。

该模块采用通过ROSgmapping包实现的2DSLAM算法。该算法使用LiDAR扫描、里程计、闭环检测和图形优化迭代更新地图和机器人的姿态估计。贝叶斯规则用于计算机器人姿态的概率以及给定传感器测量值和机器人运动的地图：P（Xt,m|Z1:t,U1:t）。

在这里Xt是机器人此时的位姿时间，m是地图，Z1:t是传感器的实时测量值，U1:t是机器人在t时刻的运动指令。该方程用于根据传感器测量值和运动命令更新每个时间步的机器人姿势和地图的置信度。这个方程用于根据传感器测量和运动命令，在每次时间步更新机器人的姿态和地图的置信度。

规划和控制

 

 

扫地机器人的规划与控制模块负责执行复杂的移动操纵任务，例如物体拾取和避障等。

为了实现这一目标，该模块结合使用了ROS控制、MoveIt规划框架、create_robotROS驱动程序API和ROS导航堆栈包。

规划和控制模块利用状态估计信息为机器人生成可行且安全的运动。该模块使用MoveIt生成供机器人跟随的无碰撞轨迹，而ROS控制则执行这些运动。此外，该模块利用检测到的物体的3D位置来确定机器人夹爪拾取物体所需的关节角度。   

TRAC-IK数值逆运动学求解器用于计算机器人末端执行器到达所需位置所需的关节角度。然后，OMPL的RRT-Connect规划器使用生成的关节角度来找到机器人末端执行器抓取物体的有效轨迹。为了增强对象操作的鲁棒性，规划器结合检测到对象的3D位置来计算目标抓取姿势。硬件接口通过ROS服务和动作控制机器人的运动、夹爪和其他设备。该模块在生成运动轨迹时考虑机器人的关节约束。通过这样做，机器人可以平稳、安全地执行任务，而不会超出或低于目标位置。

PAPRAS附加系统使用create_robotAPI连接和控制iRobotCreate2，这是一组专门为控制移动底座而设计的ROS节点和软件包。iRobotCreate2可以使用USB电缆连接到PAPRASNUC计算机。连接后，机器人将打开并放置在水平表面上。create_robotAPI由多个ROS节点组成，建立用于导航传动系统的基本远程操作接口。一旦create_robotROS节点运行，就可以使用ROS主题和服务来控制机器人。

▍三大演示展示系统应用潜力

完成对扫地机器人的加装改造后，研发团队就扫地机器人执行导航、开门和关门、清除地板上的小障碍物三大任务进行了演示，以展示机器人的软件堆栈和机械臂如何让机器人执行超出传统扫地机器人能力的各种任务，展现此类系统在家庭自动化、老年护理和其他服务机器人应用中的潜力。

导航

传统的扫地机器人作业涉及预编程模式，这些模式使得扫地机器人只能导航到房间执行清洁任务。虽然扫地机器人目前使用视觉SLAM，但添加机械臂可以扩展机器人的选项和功能范围。现在可以命令扫地机器人到特定位置来运输物体，例如将物品从厨房桌子带到柜台或水槽。由于增加了容纳各种物体和导航预定地图的能力，扫地机器人被赋予了扩展的功能和用途。   

导航任务(a)系统尝试绘制地图的现实世界环境。(b)激光雷达可视化。

在此演示中，研究团队使用2DSLAM将机器人导航到地图上的位置，同时机械臂握住各种物体。首先，使用gmapping库，扫地机器人手动生成其环境的地图。一旦创建了该地图，机器人就可以使用位置数据在环境中自主导航。扫地机器人能够将装有各种物品的托盘从一个位置运送到第二位置。附加系统的添加通过有目的的导航扩展了扫地机器人的功能。

门的开关

配备机械臂的扫地机器人底座具备一个显著优势就是能够在房子周围移动并进入橱柜内的不同房间和区域。通过使机器人能够在其环境中操纵物理对象，机器人执行复杂任务的效用和能力得到显着扩展。

手臂的增加令扫地机器人可以打开关闭的门以清洁其后面的房间，这一任务当前扫地机器人是无法做到的，这一功能的实现使得用户无需重新启动清洁过程或保持门打开。此外，改进后的扫地机器人能够打开抽屉、检索物品并将其轻松交付给用户。这些新功能显着增强了移动机器人基地在各种环境下可以完成的任务范围。   

演示中，研究团队对机柜相对于机器人的三维模型进行定位，从而使机器人能够获取手柄位姿信息。根据橱柜的模型和条件等预定知识，机器人可以制定到达门把手并随后打开门的计划。机械臂的规划抓取轨迹可以在rviz中可视化。通过使用手臂打开和关闭门，机器人可以更有效地导航和清洁各种环境。

清洁地板上的小障碍物

在清洁地板上的小障碍物的演示中，研究团队使用手眼摄像头来检测小障碍物，例如衣服或布料，这些障碍物可能会阻碍传统扫地机器人的清洁过程。传统的扫地机器人无法识别和清除小物体，机器人有可能会跑过障碍物使其自身瘫痪，或者避开障碍物并在其周围进行清洁，这会导致清洁不彻底。六自由度机械臂的集成使扫地机器人能够检测并清除此类障碍物，从而确保更彻底的清洁过程。

移动操作序列可清除小障碍物，对整个地板进行真空吸尘。

在上图所示的4个步骤序列的演示中，研究团队假设阻碍扫地机器人路径的物体是毛巾或衣服等织物，并使用图像处理技术来检测物体并计算其与机器人的距离。然后，机械臂会生成一条通向物体的平滑路径，将其拾起，并将其重新定位到机器人无法挡道的位置。这种有效且成功地去除小障碍物的方式对于清洁过程以及其他应用来说是有益的。