基于视觉的多模态触觉感知系统

近日，华南师范大学的李昕明团队研究了一种基于视觉的多模态触觉感知系统。传统的多模态/多任务触觉感知系统通过集成多种传感单元来达到多模态触觉信息的解耦，但其往往导致系统结构的复杂性，以及需要应对来自不同刺激间的干扰。相对地，基于视觉的触觉传感器能够利用各种光学设计来感知多种触觉信息，但随着所需接触信息维度的增加，这就需要为不同的接触刺激采用特定的光学设计和信息解耦策略。

针对上述挑战，李昕明团队提出了基于视觉的触觉传感系统，将触觉信息转换为视觉信号，并进一步设计了一个能够解耦多种接触信息的深度神经网络模型。得益于视触觉图像的高密度特征，这种方法避免了为各种触觉模态定制解耦设计的需求，从而实现了更为高效的多模态触觉信息的提取。

在系统的验证中，该技术实现了与人类触觉类似的微米级空间分辨率。引入神经网络后，模拟抓取实验显示系统在力学识别上的平均绝对误差为0.2N，而在姿态角度识别上的误差为0.41°。此外，在物体定位和分类上也表现出了优异的性能。该系统有潜力在生物医学和机器人技术等多模态触觉感测任务中得到广泛应用。

编辑：黄飞