一种新颖的可穿戴的柔性唇语解读系统（柔性自驱动传感器）

访谈对象：路益嘉老师

所在单位：清华大学机械工程系设计工程研究所

研究方向：生物机械、摩擦纳米发电机和集成电路装备

柔性自驱动传感器

柔性自驱动生物医学传感器指的是一类通过收集人体或周围环境的能量和信息，无需外接电源就能满足自身电能需求，同时具有柔性和可拉伸性的生物医学传感器，可应用于对人体各项生理信息和生命活动的长期监测。根据其工作环境是在人体内或体外，可以分为植入式自驱动柔性生物医学传感器和穿戴式自驱动柔性生物医学传感器。根据其设计思路的不同，又可以分为主动式和能源式生物医学传感器。

自驱动柔性生物医学传感器的电能来源于人体自身和周围其他形式的能量，包括机械能、热能、光能等。为了收集这些能量，基于不同原理的发电机逐渐被科学家们研发出来。目前适用于自驱动柔性生物医学传感器的发电机类型有：压电纳米发电机、摩擦纳米发电机、热电发电机与热释电发电机。

柔性自驱动传感器在生物医学方面的应用广泛，可用于呼吸传感器、脉搏传感器、人工感觉器官、电子皮肤、智能可穿戴设备等。

路益嘉老师提出了一种新颖的可穿戴的柔性唇语解读系统(Lip Language Decoding System, LLDS)。该系统包含低成本、自供电的柔性摩擦电传感器和基于原型学习的深度学习模型。传感器将唇部肌肉运动产生的电信号传输到解码系统，翻译成可沟通的语音，可帮助失去发声能力的人实现正常语音交流。同时，由于唇部肌肉运动展现出来的个体差异显著，该系统也可用于身份识别。

系所介绍

设计工程研究所

研究所科研工作的研究方向主要包括机械关键零部件设计、机械动力学与机构学、生物机械学与康复工程等方向。

在关键机械零部件方面，面向关键零部件设计技术中的重要科学基础问题和国家在高端装备及能源安全方面的重大需求，开展了磁流体密封、机械密封、橡塑密封、航空发动机密封、水润滑轴承、磁悬浮轴承等多种型式高端密封和特种轴承的深入、广泛的应用基础研究工作。近年来，在航天航空高参数磁流体密封、核电一回路机械密封、重大装备橡塑密封、高温高速刷式密封关键技术研究方面取得了突出进展和重要应用。

在机械动力学领域，发展了转子轴承系统非线性动力学理论，在国际上较早较系统和全面地分析了旋转机械常见故障的动力学机理，航天器振动分析及振动抑制技术已应用于航天器设计，所开发的水轮发电机组和汽轮发电机组状态监测和故障诊断系统已安装在大量的机组上，为电力行业的安全生产做出了贡献。

在生物机械学方面，开展了神经康复机器人、植入式假肢、智能假肢、人体运动协调检测与评价等研究工作，研制成功具有自主知识产权的上肢机器人和无动力助行外骨骼，对人体运动控制功能的机制、功能评定及康复方面的研究处于国内领先水平。

01

研究您的这个领域需要专业的生物学、解剖学知识吗？

对于肌肉的解剖学了解是非常重要的，特别是在处理需要检测肌肉运动的情况时。每位同学在设计前都需要先去了解肌肉的解剖结构，分析肌肉的分布情况。然后才能确定传感器的安装位置。如果你不清楚肌肉的解剖学分布和肌肉连接的端点，那么布置的传感器位置就可能出错，导致测到的结果不准确或无意义。当然，这并不难，同学们可以通过查阅解剖学专业书籍来了解你所关注的部位有哪些肌肉，以及肌肉的走向分布和连接点，从而可以准确地确定待测量的肌肉分布和安装传感器的位置，从而有效地检测肌肉的运动信号。事实上，经常健身的同学对于人体肌肉的解剖结构一般都有清楚的认识。

02

请问清华机械的智能与生物机械研究团队有哪些主要的研究方向？

季林红教授的智能与生物机械团队主要研发智能康复机器人，适用于脑卒中患者的康复训练。脑卒中患者具有局部脑功能障碍，通常会出现肢体瘫痪的症状，对他们的生活造成很大的困扰。通过康复训练可以帮助他们恢复一部分肢体功能，能够自己完成一部分日常生活中的事情，这将大大减轻家庭的压力。

例如，使用上肢康复机器人帮助手部功能障碍的患者进行训练，在大屏幕上画圆。在训练初期，由于患者手部无力和控制较差，机器人会主动牵引患者的手完成动作。当患者恢复一定的力量和控制后，训练方式变为被动，让患者自己带动机器人完成画圆。通过比较患者画的圆与标准圆的差异，可以评估患者的康复情况。当患者能够自主画出接近标准圆的图形时，可以认为康复训练已经取得了较好的效果。在这个过程中，患者的力量和神经感觉控制都能逐步得到提升。

在康复过程中，使用一些智能算法可以帮助康复机器人做出更好的决策。例如，会使用传感器来收集数据，然后根据这些数据来决定康复处方。

03

实验室的传感器、康复机器人目前在市场上有什么已经投入使用的产品吗？

关于康复机器人的产品，现在不仅我校在研发，很多外单位也在开展相关工作，投入市场的产品也不少。我们团队的产品（如上肢康复机器人，无动力助行外骨骼等）主要在康复中心和医院测试。

我所做的研究目前主要停留在实验室阶段，用创新的想法探索更多的可能性，并探索解决问题的新技术可行性和有效性。后期会考虑开发产品。

04

您刚刚展示的唇语识别技术是可以完全理解唇语还是只能识别出特定的句子？

我们的技术只能识别特定的句子，识别但是不能理解。在句子理解方面现在有一个新的分支叫做生成性人工智能，比如现在的 ChatGPT，你说一句话，它就能理解你的意思，并据此生成合理的回复。这是一种新兴的技术，而我们的方法则相对简单，主要处理的是生活中常用的句子。

我们的训练方法是直接采集数据，包括一些生活名词和常用的句子信号。我们将这些数据训练成模型。当传感器检测到你的口型对应的信号后，训练模型将进一步将信号识别为具体的词语或句子。将模型跟生成性人工智能结合，是我们未来工作的一个潜在方向。

05

对于唇形易混淆的句子，这一项技术如何做到区分辨别呢？

大部分的句子是可以直接区分识别的，现有的机器学习模型具有这个能力。如果某些句子的采集信号仅凭现有的传感器无法识别，可以考虑添加传感器的数量。比如当处理的数据量增加后，总会有一些词汇的信号非常接近。通过选择在合适的位置添加新传感器，一般来说是可以区分这些相似信号的。

06

从之前的交流中我们感受到您的研究既有科技含量，又有人文关怀，您是如何走上这条有人文关怀的科研道路的？

大概在2018年。在 2018 年之前，我没有过多接触过残疾人，也没有与他们有过紧密的交往，测试对象主要是健全人。2018 年我们团队承担了为我国冬残奥选手提供科技支撑的任务。这个任务给了我深入接触和了解残疾运动员的机会。

2018 年 11 月，我们科研团队去训练基地开展第一次调研。那次的调研经历给我留下了深刻的印象。我们和每位运动员进行了交谈，查看他们的残障情况，了解他们的需求和困难。为了演示器材的使用情况，他们从轮椅上爬上训练器材，我上前伸手帮忙，却被他们笑着拒绝。我原以为他们会觉得训练很艰辛，但实际上他们并不这么认为。虽然失去了部分肢体功能，但他们认为自己完全可以做到规定要求，精神状态和我的预想差异很大。

调研结束的时候，我们跟队员和教练们成了朋友，这次行程我收获很多，一方面是对残疾人的需求有了更实际的了解和更准确的认识，修正了之前我预设的一些想法，思考问题的时候会更多的从他们角度出发，比如易用性，低成本等；另一方面他们的意志和精神打动了我。每当我遇到困难时，我就会想想他们。

审核编辑：黄飞