如何在模拟大脑的硬件上训练深度神经网络

一项研究发现，人脑中新的人工神经元和突触可能只有神经元大小的千分之一，速度至少是生物突触的10000倍。

研究人员说，这些新设备可能有助于提高日益普遍和强大的人工智能系统（称为深度神经网络）的学习速度。

在人工神经网络中，被称为“神经元”的电子元件被输入数据，并协作解决问题，例如识别图像。神经网络反复调整其仿神经元之间的联系，并观察由此产生的行为模式是否更善于找到解决方案。随着时间的推移，网络会发现哪些模式最适合计算结果。然后，它采用这些默认值，模仿人脑中的学习过程。

如果神经网络拥有多层神经元，则称之为“深度”。深度神经网络越来越多地应用于分析医学扫描、设计微芯片、预测蛋白质如何折叠，以及为自动驾驶汽车提供动力。

训练深度神经网络所需的时间、精力和资金投入正在飞速增长。研究人员正在寻求帮助克服这一挑战的一种方法是在模拟大脑的硬件上而不是传统的计算机上训练模拟大脑的深度神经网络，这种策略称为模拟深度学习。

正如晶体管是数字计算机的核心元件一样，神经元和突触样元件也是模拟深度学习的关键组成部分。在这项新的研究中，研究人员试验了一种名为可编程电阻器的人工突触。

新的可编程电阻器类似于忆阻器或记忆电阻器。这两种设备本质上都是电子开关，可以记住断电后切换到的状态。因此，它们类似于突触，其导电性根据过去通过它们的电荷数量而增强或减弱。该研究的主要作者、麻省理工学院电气工程师Murat Onen说，忆阻器是双端器件，而新的可编程电阻器是三端器件。

研究小组的可编程电阻器通过移动质子来增加或减少电导。为了增加电导，电场帮助将质子插入器件中。为了降低电导率，取出质子。

这些质子可编程电阻器使用与电池中发现的类似的电解质，让质子通过，同时阻挡电子。他们的电解质是磷硅酸盐玻璃，研究人员怀疑这种玻璃在室温下具有高质子传导性。这种玻璃容纳了许多纳米尺寸的孔用于质子传输，还可以承受非常强的脉冲电场以帮助质子快速移动。

与团队设备早期版本中使用的有机Nafion电解质不同，磷硅酸盐与硅制造技术兼容。这有助于将这些设备“一直扩展到10纳米级”，Onen说。相比之下，生物神经元的长度大约是前者的1000倍。

生物神经元和突触处理和传输数据的速度受到微弱电压和水介质的限制，这些信号在水介质中混洗。任何超过1.23伏的电压都会导致液态水分解成氢气和氧气。因此，动物的思维速度通常限制在毫秒的时间尺度内。相反，人工固态神经元和突触并没有受到这些限制。然而，目前还不清楚它们与生物学上的同类相比有多快。

在实验中，科学家们发现他们的质子可编程电阻器在室温下的运行速度至少是生物突触的10000倍。“最令人惊讶的是，我们能以多快的速度在固体介质中移动质子，” Onen说。“以前，操作时间尺度约为毫秒，而在这项工作中，我们实现了纳秒。”

这些设备可以运行数百万次而不会发生故障。此外，它们在计算过程中产生的热量与人类突触相比也很好。磷硅酸盐玻璃的绝缘特性意味着当质子移动时，几乎没有电流通过材料，这使得这些小玩意儿非常节能。

主要的技术含义是，我们现在可以拥有用于模拟深度学习应用的质子可编程设备，”Onen说，“与竞争技术相比，此类设备的前辈已经具备了许多有前途的品质，但速度非常慢，这意味着它们不适合用于处理器。”

“此外，”Onen说，“固体中超快离子传输的发现可能具有比模拟深度学习更广泛的意义，无论何时需要快速离子运动，例如在微电池、燃料电池、人工光合作用和电致变色中。”　　

      审核编辑：彭静