微美全息（NASDAQ：WIMI）开发基于增强现实控制的闭环混合信号脑机接口机械臂控制系统

随着科技的不断发展，人们对于机器人技术的需求也逐渐增加。机器人技术的应用场景越来越广泛，其中，机械臂控制系统在很多领域都是一个非常重要的应用领域。脑机接口（BMI）也已被广泛用于控制机械臂。然而，对于BMI用户来说，使用机械臂控制物体的过程仍然是一项复杂的任务。即使经过广泛的训练，也很难达到高效率和准确性。一个重要的原因是用户缺乏足够的反馈信息来执行闭环控制。

据报道，微美全息（NASDAQ:WIMI）提出了一种增强现实（AR）引导的辅助方法，使用混合BMI为用户提供增强的视觉反馈，用于闭环控制，该混合BMI结合了脑电图信号和眼睛跟踪，以直观有效地控制机械臂。

公开资料显示，微美全息（NASDAQ:WIMI）开发的基于增强现实控制的闭环混合信号脑机接口机械臂控制方法，通过结合基于脑电图（EEG）信号的BMI和眼动追踪技术，为用户提供增强的视觉反馈，在控制机械臂过程中实现闭环控制。该系统集成了BMI、眼睛跟踪、图像处理、自动控制和AR接口的功能，允许用户执行对象操作任务。图像处理用于从工作空间的图像中分割所有潜在的矩形对象。用户可以使用眼睛跟踪来选择分割的对象。从BMI解码的输出用于（1）确认用户选择的对象，（2）切换动作顺序，或（3）在抓取和提升过程中连续控制夹具的孔径和高度。用户选择的物体以及抓取和提升操作的状态通过计算机屏幕使用AR技术实时反馈给用户。最后，机械臂根据混合BMI解码的输出执行拉伸、抓取、提升、递送和释放任务。系统装置设备包括眼动仪、脑电图耳机、电脑、机械臂和USB摄像头。使用混合凝视BMI和AR增强的视觉反馈来执行用户和系统之间的交互。

WIMI微美全息研发的基于增强现实控制的闭环混合信号脑机接口机械臂控制系统包括：

增强现实控制界面：通过AR技术，设计出一个直观、易用的控制界面，用户可以通过手势或语音等方式控制机械臂的运动。

采集脑电信号：使用脑电图设备采集用户大脑的电信号，将其传输到计算机。

处理脑电信号：使用信号处理算法，对脑电信号进行滤波、特征提取等操作，提取出用户想要控制的机械臂运动的指令。

生成控制信号：根据用户的脑电信号，生成控制信号，控制机械臂的运动。

机械臂控制：机械臂的控制系统，包括电机驱动器、位置传感器、控制芯片等硬件设备的选择和搭建。

实现闭环控制：将采集到的机械臂位置反馈信息传输回计算机，实现闭环控制，确保机械臂的运动精确、稳定。

实时控制：将用户的控制信号和机械臂位置反馈信息实时传输到机械臂控制系统中，实现实时控制。

同时，WIMI微美全息对所开发的闭环系统（具有AR反馈）与目前传统的开环系统（仅具有视觉检查）进行了测试。结果表明，与仅使用正常视觉检查的试验相比，AR反馈显著降低了抓取和提升物体的触发命令。此外，夹具在提升过程中的高度间隙也减小了。混合BMI用户受益于AR界面提供的信息，这提高了效率，并减少了抓举过程中的认知负荷。AR反馈的闭环系统为用户使用混合BMI控制机械臂提供了一种新颖有效的方法，通过集成更先进的图像处理和机器学习算法来进一步改进传统控制系统，以增强工作空间中对象的分割和BMI信号的解码。

科技在不断进步和发展，机器人技术的应用场景越来越广泛。机械臂控制系统作为机器人技术的一个重要应用领域，市场前景非常广阔。特别是在生产制造行业中，机械臂控制系统已经成为了必不可少的工具。WIMI微美全息基于增强现实控制的闭环混合信号脑机接口机械臂控制系统，采用了增强现实技术和脑机接口技术，可以提高操作的准确性和速度，同时还保证了操作的安全性，拥有非常广泛的市场前景。WIMI微美全息也将进一步完善与改进该系统，使其适用与现实的市场需求，用于目前的工业生产环境。

审核编辑 黄宇