基于光敏单层MoS₂忆阻晶体管的仿生视觉触觉神经元

在完全黑暗的环境中，依靠视觉进行导航是没有用的，相反，触觉会更有效。由于神经系统的反应较大，用力触摸可以揭示有关物体或障碍物的更多信息，而轻轻触摸则可能不足以唤起神经反馈。然而，硬触也可能导致不良后果，如损坏物体，例如在黑暗的房间内移动时损坏贵重的艺术品，或因危险实体的存在而伤害身体。在这种情况下，即使是短暂的闪光也能大大提高成功移动的几率。这是因为视觉记忆可以影响和帮助触觉反应，从而实现导航。如果我们的视觉和触觉皮层只对各自的单模态线索做出反应，就不可能做到这一点。因此整合跨模态线索是大脑功能的基本特征之一。

  在大脑中，每种感觉在不同的情况下都能发挥最佳功能，但它们共同作用，可以提高探测和识别物体和事件的可能性。一般认为，大脑中有专门的区域，如视觉、听觉、躯体感觉、味觉和嗅觉皮层，处理来自一种模式的感觉输入，而跨模式整合则发生在更高的皮层区域。然而，最近的研究结果表明，多感觉整合可以通过接收来自两种或两种以上感觉模式汇聚输入的特化神经元在初级感觉区域进行。例如，在训练有素的猴子的初级躯体感觉皮层中发现的S1神经元除了对躯体感觉输入做出反应外，还对视觉和听觉刺激做出反应。同样听觉皮层中的A1神经元对听觉和躯体感觉线索都有反应。多感觉整合的优势在于多感觉反应具有超加性，即不仅超过单感觉反应，还超过它们的算术总和。

    多感觉整合的另一个主要特点是，多感觉增强通常与被整合的单个线索的强度成反比。这被称为反效果效应，具有直观意义，因为高度突出的单模态刺激会在相应的单感觉神经元中唤起强烈的反应，这种反应很容易被检测到。在这种情况下，多感觉整合可以大大增强神经活动，并通过提高检测和定位事件的速度和可能性对动物行为产生积极影响。换句话说当单个刺激引起的反应最弱时，多感觉放大作用最大。最后，多感觉整合具有时间一致性即统合反应的大小对每种感觉输入所引发的反应之间的时间相关性非常敏感。换句话说，当活动的高峰期重合时，反应达到最大值。多感觉信息处理的例子在自然界比比皆是。例如，海豚将从回声中获得的听觉线索与视觉系统相结合，使它们能够全面了解周围环境中的物体、距离和形状。蜜蜂通过被称为“摇摆舞”的复杂舞蹈向它们的蜂巢伙伴传达食物来源的位置。这些舞蹈结合了视觉线索，如摇摆的角度和持续时间，以及从花蜜中获得的气味线索，有效地传递了食物来源的距离和方向等信息。虽然神经科学领域，尤其是认知和行为领域，已经对多感觉整合进行了广泛研究，但机器人、人工智能和神经形态计算领域尚未充分发挥多感觉整合的优势。

    近期，宾夕法尼亚大学Saptarshi Das教授等人介绍了一种基于光敏单层MoS₂忆阻晶体管和摩擦静电触觉传感器集成的人工视觉触觉神经元，它能准确捕捉多感觉整合的三个基本特征，即超鲁加响应、反向效力效应和时间一致性。该研究还实现了一种可将视觉触觉信息编码为数字尖峰事件的电路，尖峰事件的概率由视觉和触觉线索的强度决定。相关研究以“A bio-inspired visuotactile neuron for multisensory integration”为题发表在Nature Communications期刊上。

多感觉整合

多感觉神经元视觉积分的逆效应和超加性响应观察

单感觉与多感觉整合的比较及时间一致性的论证

总体而言，对生物启发的多感觉视觉触觉神经元和尖峰编码电路的全面展示将推动神经形态计算领域的发展，该领域迄今为止主要侧重于单感觉智能和信息处理。此外，它还可以应用于国防、太空探索以及许多机器人和人工智能系统。最后，多感觉融合的原理可以从视觉信息处理扩展到其它感觉刺激，包括音频、嗅觉、热和味觉刺激。  

编辑：黄飞