「智科特案例」用VR，我们人类手把手教机器人做事情

 

前言
 

    19年10月的时候，丰田研究院（toyota research institute）发布了一个视频，其中有一个片段是人类对机器人实行VR示教。
 

 

VR机器人示教

    众所周知的是，丰田研究院专注于家庭服务机器人的理论与实际工程验证，是工程能力和研究能力双修，有钱有闲的机构之一。我们觉得这个功能挺有意思的，于是也做了一个VR手把手教CasterMoma做事情的案子。

 

 

 

系统构成
 

    系统主要由一台移动操作机器人（CasterMoma），一套虚拟现实头显（HTC Vive Pro），还有一台中控电脑构成。

    机器人把深度摄像头的点云图像数据，与机器人的状态信息发送到PC上，PC把图像信息发送到头显中显示。中控电脑接收控制器的指令后，下发控制机器人运动。

 

 

主要功能

    鉴于VR头显手柄的按键非常丰富，很适合用于控制移动操作机器人这样类型的，多可控对象的机器人。我们使用左手柄控制机械臂，右手柄控制移动机器人，机器人头部就用VR头显的追踪功能，跟随人的头部运动。
 

 

 

    我们在Unity中，也搭建了一套CasterMoma的模型。我们在VR视角中，也能完全看到CasterMoma在我们人的正前方。
 

 

 

    用户可以通过头部的运动，控制相机云台获取不同角度的视野，同时通过手柄来操控机械臂，以及车体运动。

 

 

    在日趋复杂的机器人任务中，通过VR遥操作机器人完成任务，一方面可以达到示教的目的，另一方面可以减少执行任务的危险性。这套功能也方便移植到其它的移动操作机器人上。

 

功能演示视频
 

    以下是我们遥操作机器人进行水瓶抓取的视频。
 

        谢谢阅读

 

北京智科特机器人是一家专业研发、集成、销售高性能、高稳定性的机器人专业技术公司。我们的愿景是成为国内一流研究型机器人本体科研解决方案服务提供商与机器人在垂直细分领域的落地者和传播者。通过满足广大用户的多样性需求，基于用户的多样性反馈中研发与迭代产品，让机器人技术造福更多领域。