基于sEMG与手部追踪的感官VR交互上肢康复系统

表面肌电sEMG结合VR交互康复训练技术（图1）通过采集用户指深屈肌（flexor digitorum profundus, FDP）的肌电活动，实现对握力的无控制器实时映射。系统采用手部追踪技术结合sEMG信号处理流程——包括移动平均滤波、最大自主收缩值（MVC）校准及min–max归一化——将用户的握力强度转化为VR环境中物体的破坏性交互。该技术显著增强了用户在VR任务中的沉浸感与操作直观性，适用于上肢康复、肌力训练及功能模拟等领域。未来可通过引入多模态反馈机制、扩大样本规模及跨群体验证，进一步推动其在临床康复与个性化训练中的应用。未来可通过多模态反馈（如触觉、视觉）和智能化算法优化，进一步拓展至居家康复和个性化训练场景，具有显著的临床转化潜力。

 

图1 系统整体结构与电极贴放示意图

 

HUIYING

临床研究

1.临床设备系统

VR设备（图2）：Oculus Quest 2（Meta），搭载手部追踪功能（Oculus Integration SDK）。

图2 VR设备Oculus Quest 2示意图

 

EMG采集（图3）：Ag-AgCl电极贴附于指深屈肌（FDP），回映可穿戴高精度肌电采集设备。

图3 回映可穿戴高精度肌电采集设备示意图

 

软件平台（图4）：Unity引擎，实现信号处理（移动平均滤波）、MVC校准（10次最大收缩取均值）、实时归一化（min-max归一化）与物体交互逻辑。

图4 原始与平滑后的sEMG信号对比

 

2.研究方法

参与者：6名健康成人（22.17±2.13岁，3男3女），无肌肉骨骼疾病。

实验流程：

校准阶段：测量MVC（最大自愿收缩值），归一化EMG信号。

VR交互：用户徒手抓取4种不同强度阈值（70%、85%、100%、105% MVC）的虚拟物体（颜色区分），握力超过阈值时物体破碎并生成粒子效果（图5）。

图5 VR中物体握力反馈界面示例

(a) 轻握时物体未破碎

  (b) 强握时物体破碎并产生粒子效果

 

评估方法：混合研究法（定量问卷+定性访谈），问题涵盖感官交互、易用性、可靠性与满意度。

 

3.研究结果

满意度评分（5分制）：Q1: 5.0（感官交互提升），Q2: 4.67±0.52（易用性），Q3: 4.83±0.41（可靠性），Q4: 4.83±0.41（总体满意度）。

EMG数据：不同强度物体破坏时的EMG值存在显著差异（p<0.001，图6b），验证了握力反射的有效性。

图5 不同强度物体破碎时的EMG值对比与统计结果

 

用户反馈：

建议减少强度分级（如4级→2级），增强阈值区分度；

需提供量化握力反馈；

改善手部追踪精度与指甲干扰问题。

 

总结

该研究成功开发了一种基于sEMG与VR的感官交互系统，通过握力反射增强用户体验与沉浸感。尽管存在信号噪声、手部追踪限制和小样本问题，但其无需控制器、直观性强的特点展示了在康复训练中的潜力。未来需优化信号稳定性、扩展样本多样性，并引入多感官反馈以提升临床适用性。

 

HUIYING

回映产品  

产品1：单通道肌电/心电/皮电采集设备

 

单通道肌电采集设备创新性地采用type-C转脑电电极以简单轻便的方式实现了单通道肌电、心电、皮电采集，且基于结构与硬件的特殊设计，支持高原环境下进行采集。另外产品总体结构采用魔术贴设计，方便于全身佩戴。

适用领域:单通道生理参数采集

单通道肌电/心电/皮电采集设备

 

 

基本参数

 

1.模数转换：24位；

 

2.通道数：2；

 

3.示值准确度：误差不大于±10%或±2μV,两者取较大值；

 

4.测量范围：测量范围±350mV；

 

5.分辨率：分辨率≤2uV；

 

6.系统噪声：系统噪声≤1uV；

 

7.通频带：通频带为20Hz~250Hz(不包括陷波波段)；

 

8.差模输入阻抗：差模输入阻抗大于5MΩ；

 

9.共模抑制比：共模抑制比大于100dB；

 

10.工频陷波器：设备有50Hz陷波器,衰减后幅值不大于5μV(峰-谷值)；

 

11.工作噪音：工作噪音不大于65dB(A)；

产品2.基于干电极的32通道脑电采集仪

 

高质量脑电信号采集对于精准识别和分析非癫痫样异常（如弥漫性慢波、局灶性δ活动）至关重要。为此可以了解我们研发的一款32通道可穿戴脑电采集仪，采用高精度干电极采集脑电信号，无需导电膏即可快速佩戴，极大提升了受试者的舒适度和操作效率，特别适合长时间或动态环境下的数据采集。该设备不仅能通过全覆盖设计捕捉全脑电活动细节，还采用了type-C智能转接技术和抗干扰硬件架构，有效减少了运动噪声和电磁干扰对信号的影响，在高原或移动场景中也能稳定输出低噪声波形。

 

 

适用范围：多通道生理参数采集

 

 

基本参数

采样率：≤ 16KSPS，每个通道独立可控制； 

 

 

共模抑制比：≥ 120dB； 

 

 

系统噪声：≤ 5uVrms； 

 

 

模数转换率：24 位； 

 

 

输入信号范围：±375mVpp； 

 

 

通频带：直流耦合放大，保留全部低频信号； 

 

 

事件同步输入：无线同步，时间精度＜ 1ms； 

 

 

供电方式：可充电锂电池； 

 

 

工作时间：单电池供电不低于 4 小时； 

 

 

优势：可支持高原环境采集。

产品3：可穿戴闭环睡眠设备

个性化可穿戴闭环睡眠设备首先对EEG 脑电信号 进行实时采集,并对EEG 进行PSD 功率图谱转换获取到脑电节律Theta 波(4-8Hz) 以及Alpha 波(8-13Hz) 最高功率 所对 应的频率,然后基于此频率作为个性化tACS 经颅交流电刺激 的刺激频率进行恒流源输出进而实现个性化闭环睡眠治疗｡

可穿戴闭环睡眠设备

 

 

基本参数

采集系统基础参数 

采样率：最高 16KHZ；

共模抑制比：≥ 100dB；

噪声：≤ 5uV；

输入阻抗：≥ 1000MΩ；

脑电 EEG：单通道，2~100uV。

 

刺激系统基础参数 

刺激模式：tDCS/tACS/tPCS/tRNS 四种模式灵活可调，tDCS 经颅直流电刺激，

tACS 经颅交流电刺激，tPCS 经颅脉冲电刺激，tRNS 经颅白噪声电刺激；

刺激强度：-2mA~2mA 连续可调，调节分辨率 0.01mA，输出电流误差 <=±10%；

刺激时间：0~60min 可调；

刺激频率：针对于 tPCS/tACS 模式，1Hz ～ 99Hz 范围内可调，频率步进为 1Hz，输出频率误差 <=±5%；

淡入淡出时间：0~120s 可调，确保刺激的安全性；

脱落检测：通过实时阻抗检测分析电极脱落状态确保刺激有效性

产品4：可穿戴情绪识别设备

可穿戴情绪识别设备是一个综合情绪识别平台。该平台通过实时采集 EEG 脑电、EDA 皮电、EHOG/EVOG 眼电、心率、血氧、温度、姿态等生理参数进行情绪的效价、唤醒度等分析。

适用领域 : 认知科学、运动科学、 工效学、 人机交互、虚拟现实研究、

可穿戴情绪识别设备

 

 

基本参数

采样率：最高 16KHZ；

共模抑制比：≥ 100dB；

噪声：≤ 5uV；

输入阻抗：≥ 1000MΩ；

脑电EEG：2~100uV；

皮电EDA/GSR：0.5uV~0.2mV，1~100Hz；

血氧SPO2：35-99%；

心率：30-250bpm；

温度TMEP：-55℃ ~150℃，精度 0.1℃；

眼电EHOG/EVOG：50~3500uV， 0.1~100Hz；

加速度ACC：±2g、±4g、±8g、±16g 范围可调；

陀螺仪GYR：±250° /sec、±500° /sec、±1000° /sec、±2000° /sec 范围可调。

产品5：AR-BCI干电极脑电采集智能头盔

AR-BCI智能脑控头盔采用创新干电极技术，通过弹簧式接触结构（触角直径2mm，数量10-15根）无需凝胶即可稳固贴合头皮，适合24小时连续监测，提升佩戴舒适度和稳定性，并能精准捕捉短暂异常放电及区分正常变异脑电信号如Mu节律和Wicket波，防止误诊。设备具备≥130dB的共模抑制比和＞1000MΩ的输入阻抗，有效抑制干扰，确保信号采集高精度与可靠性，同时实时阻抗检测与脱落提示功能减少漏检风险。该头盔集成了AR显示、眼动追踪和多模态脑电采集功能，支持同步分析脑电与行为数据，特别适用于异常放电捕捉和复杂正常变异脑电信号识别。

 

 

适应症：康复科、神经内科、神经外科、卒中中心、老年科。

AR-BCI干电极脑电采集智能头盔

 

 

基本参数

 

交流阻抗：阻抗≤ 1000Ω;

 

直流失调电压： 电压≤ 100mV;

 

内部噪音： 电压 <150uv;

 

除颤过载回复： 变化率 <±1mV/s、除颤后阻抗<1000Ω;

 

偏置电流耐受度： 电压变化 <100mV。

 

 

 

参考文献

1.Development of Sensory Virtual Reality Interface Using EMG Signal-Based Grip Strength Reflection System

2.Metaverse App Market and Leisure: Analysis on Oculus Apps.

3.Evaluation and Analysis of VR Content Dementia Prevention Training based on Musculoskeletal Motion Tracking.

4. A Study on the Relationship of Distraction Factors, Presence, Flow, and Learning Effects in HMD—Based Immersed VR Learning.

5.A Study on Efficiency of the Experience Oriented Self-directed Learning in the VR Vocational Training Contents.

6.Analysis of Visual Attention of Students with Developmental Disabilities in Virtual Reality Based Training Contents.