智能交互手部康复机器人讲解 人机交互新视野肌电交互

智能交互手部康复机器人

一、产品概述

 

智能交互手部康复机器人是以手部康复外骨骼为被控对象，配备简洁的人机交互界面，采用模块化设计理念，具有理实一体、操作简单、易于扩展等特点，极大的提高师生的参与程度，为脑卒中患者提供多用途、层次丰富、安全易用、易于扩展的肌电交互系统。该系统融合了 UI交互界面、嵌入式控制器、肌电手环、手部康复机器人系统，提供基于 python 语言的统一框架，方便操作者的使用和二次开发，为用户提供完整的手部康复机器人教学科研环境。

二、产品特色



可穿戴：传统的人机交互方式如键盘、鼠标等不方便携带，不适合便携式人机交互。而基于表面肌电的人机交互方式通过采集人体皮肤表面的微弱的生理电信号，实现对意图指令的解码。肌电手环具有便携性，可以穿戴在手臂上，便于实际场景中实时人机交互。



智能识别：表面肌电信号是一种时变的、易受干扰的非平稳信号，如何准确的识别出人体运行意图至关重要。通过对原始信号进行滤波，提取时频域统计学特征，使用人工智能算法来识别出人体的意图，进而控制手部机器人执行相应的动作。



一体化框架：该系统融合了 UI 交互界面、嵌入式控制器、肌电手环、手部康复机器人系统，提供基于 python 语言的统一的框架，方便操作者的使用和二次开发，整体流程框架图如下图所示。整体框架图

三、系统性能参数

智能交互手部康复机器人基于嵌入式处理器树莓派，实现 UI 交互模块、信号处理与识别模

块、系统控制模块的集成。

1、交互界面

（1）主界面

智能交互手部康复机器人可以实现被动康复训练和主动康复训练两部分功能，交互主界面

如下图所示，可以通过点击对应图片选择相应的功能。

交互主界

（2）被动训练界面

被动训练可以自主设置训练次数，动作时间和休息时间，同时也设置了五指分别运动以及

张手、握拳、捏手指和伸手指四个常用动作，通过调节伸长量来控制手部张开和闭合的幅度。

被动康复训练界面如图所示。

被动康复界面

（3）主动训练界面

实现主动训练首先要采集患者的肌电数据，通过在动作列表中选择训练的动作进行数据采

集，将采集完两轮的数据进行模型训练，训练好后即可实现主动训练。主动康复训练界面如图

所示。

主动康复训练界面

按下开始采集按钮，会显示当前需要做的动作。按下模型训练按钮，会自动对采集的 sEMG

信号进行处理，建立分类识别模型。模型建立后，按下开始训练按钮，做出相应动作，会控制康复手同时做出相同动作，实现主动康复功能。如在训练时感受到疲惫，可按下停止训练按钮

暂停训练，在适当休息后，也可以再次点击开始训练按钮重新训练，最后点击返回按钮，会退

出主动康复训练界面，返回主界面。

（4）动作选择界面

动作选择界面包含多个训练动作，包含握拳，张手，OK，数字 1 到 10，捏指等。可以选

择自己想做的动作进行训练，同时也可以随时增加或删除新老动作。动作选择界面如图所示。

动作选择界面

2、信号处理与模式识别

采用统计学特征和机器学习的方法，从非平稳、高噪声的肌电信号中解码出人的动作意图。

首先佩戴肌电手环，然后根据上位机界面来做出相应的动作，同时采集肌电数据，之后对数据

进行降噪、特征提取和识别，解码出人体的运动意图。算法处理流程如下图所示：

信号处理与模式识别

3、相关硬件参数

手部康复机器人控制系统：1）整体：包括蓝牙模块、运动控制模块，实现多种手势的实时手部机器人控制。可以快速

搭建手部机器人研究平台，支持控制算法和特征工程处理的快速开发

2）工作技术参数：

开发方式：Python

工作范围：2m*2m

工作环境温度：室温温度

驱动方式：直流电机驱动

工作采样频率：50HZ

控制模式：位置，速度

实验工程及 demo：提供实验工程及 demo

微型直线伺服驱动器：

1）小体积、高功率密度、高重复定位精度；

2）内部集成了微型电机、减速器、丝杆机构、传感器以及驱动控制系统，集成度

高；

3）接口丰富：

电气接口：具有 LVTTL3.3V 串口（D 型）和 PWM（

P 型）两种接口。D 型接口的驱动器

可以配置地址编号（

ID），多个不同 ID 的驱动器可以通过串口总线控制。P 型接口的驱动器兼

容标准舵机接口，支持 50HZ 和 333HZ 两种频率的 PWM 控制信号

机械接口：具有丰富的接口方式可选，方便用户安装使用

4）宽电压：DC6V～9V 宽电压范围供电，建议供电 8V，断电后不会丢失位置信息

5）具备过热、过流保护功能

树莓派 3B+：

1）64 位的 1.4GHz 四核 ARM Cortex-A53

2）1GB 内存和千兆以太网 (最大吞吐量 300Mbps)

3）IEEE 802.11.b/g/n/ac 双频 2.4GHz/5GHz 无线网卡

4）低功耗蓝牙 4.2 (BLE)

5）HDMI 接口、PoE 接口和四个 USB 2.0 接口

6）MicroSD 卡插槽7）3.5 mm 音频输出接口

8）40PIN GPIO 接口

Myo 肌电手环：

1）手臂尺寸可在 7.5-13 英寸(19-34 厘米)前臂周长之间展开

2）8 个医用级不锈钢肌电图传感器

3）重量: 93g

4）1 个包含三轴陀螺仪、三轴加速度计、三轴磁强计的九轴 IMU

5）短、中、长振动的触觉反馈

6）ARM Cortex M4 处理器

7）双指示灯 LED 使用蓝牙智能

8）micro-usb 充电，内置可充电锂离子电池一次性使用一整天

9）1 个肌臂带 1 根标准 micro USB 电缆

10）1 个蓝牙适配器，用于 Mac 和 Windows PC 连接

11）10 个 MYO 尺寸夹

12）1 个开放的、免费的、有原始数据可用的 SDK

康复手：

刚性手部外骨骼采用 3d 打印材质，配合金属零件共同组装而成；并配用树脂材料打印的控

制盒，盒内集成了树莓派和电源线、HDMI 走线等，可以实现树莓派的开关及急停功能

四、配套实验内容

模式识别基础实验：

1

模式识别导论

理解模式识别的定义，了解课程学习目标、学习内容和学习方法，

激发学习动力和学习兴趣。

2

模式识别基础

理解模式识别的基础概念：包括特征与特征空间、有监督学习与

无监督学习、紧致性、维数灾难、泛化能力与过拟合。

3

模式识别系统

解模式识别系统的一般结构，并理解各个环节的主要任务4

线性分类器

理解线性分类器的基本原理：包括线性判别和广义线性判别，多

分类线性判别函数和线性判别函数的几何意义

5

支持向量机

理解支持向量机的原理，并能编程实现支持向量机去解决简单的

模式识别问题。

6

感知器算法

理解感知器算法的原理，并能编程实现感知器算法去求解线性分

类器。

7

贝叶斯分类器

理解贝叶斯分类器的原理，并能够编程实现贝叶斯分类器。

8

k 近邻算法

理解 k 近邻算法的原理，并能够编程实现 KNN 算法。

9

特征降维

理解特征降维的基本概念，理解特征降维的主要方法，并能够在

解决模式识别问题的过程中加以应用

10

聚类算法

理解数据聚类的基本概念、特点和聚类算法的一般流程，理解常

用数据聚类算法的原理，包括试探法聚类、层次法聚类和动态聚

类。

11

组合分类器

理解组合分类器的原理，理解 Adaboost 算法和随机森林算法的

基本原理，并能够编程实现这两种算法来解决模式识别问题。

12

神经网络分类器

理解人工神经元网络的基本概念和用于模式识别的基本原理，理

解 BP 算法的原理，并能够编程实现 BP 算法

模式识别高级实验：

1

sEMG 特征提取

学习提取原始数据的时域、频域和时频域等常用特征，将原始数

据提炼为特征供分类模型使用。

2

sEMG 特征降维

学习主元分析（

PCA）、线性判别分析（

LDA）、独立元分析（

ICA）

等常用降维算法，采用降维算法降低 sEMG 特征。

3

神经网络算法

理解神经网络算法的原理，进而对深度神经网络和卷积神经网络

有所学习，并能通过编程解决动作识别和康复评估的问题。

4

支持向量机

理解支持向量机的原理，用于解决动作识别的问题。

5

组合分类器

理解 GBDT 算法和随机森林算法的基本原理，并能通过编程实现

这两种算法来解决模式识别问题sEMG 信号处理实验：

序号

实验名称

课程内容

1

sEMG 概念

了解 sEMG 信号的概念，了解课程学习目标、学习内容

2

sEMG 采集

学习 sEMG 信号采集方法。

3

sEMG 特征提取

学习 sEMG 特征提取方法，了解常用的 sEMG 时域特征、频域、

时频域特征。

4

sEMG 特征选择

学习过滤式、包裹式、嵌入式等特征选择方法，降低 sEMG 特征。

5

建立动作分类模

型

学习随机森林、神经网络等常用分类算法，通过 sEMG 进行动作

分类。

6

动作在线识别

学习使用建立的分类模型进行在线识别。

7

建立康复评估模

型

学习深度、卷积神经网络等常用分类算法，建立合适的康复评估

模型。

8

评估患者康复等

级

通过评估模型对患者进行康复等级评估，适时调整患者的康复方

案。

五、平台配置清单

产品名称

产品型号

平台配置

智能交互手部康复机器人

Robot-HRb

智能交互系统

定制

刚性康复手

定制

显示屏

维辰思系列

树莓派

3b+

电机

因时 LA-16 型

肌电手环

8 通道 MYO