三种不同的神经网络结构训练

我们身边的小工具不断地在充实着我们的生活 —— 智能手表可以检测我们的生命体征，跟踪我们的健康状况；家用扬声器通过听我们的对话来识别我们的声音；智能手机还能够扮演语法学家的角色，观察我们写了什么来自动修复我们的特殊打字错误。我们很感激这些便利，但我们与电子设备共享的信息并不总是在我们的所控范围内。

机器学习可能需要很重的硬件，所以像手机这样的“边缘”设备通常会向中央服务器发送原始数据，然后返回经过训练的算法。然而，有些人希望训练能够在本地进行。一种新的人工智能训练方法扩展了小型设备的训练能力，可能有助于保护隐私。

最强大的机器学习系统使用神经网络，复杂的函数充满可调参数。在训练期间，网络接收输入（如一组像素），生成输出（如标签“cat”），将其输出与正确答案进行比较，并调整其参数，以便下次做得更好。为了知道如何调整每个内部旋钮，网络需要记住每个旋钮的效果，但它们的数量通常为数百万甚至数十亿。这需要大量内存。训练一个神经网络可能需要数百倍的记忆，而仅仅使用一个（也称为“推理”）。在后一种情况下，一旦将信息传递到下一层，内存就可以忘记网络的每一层做了什么。

为了减少训练阶段的记忆需求，研究人员采用了一些技巧。其中一种称为分页或卸载，机器将这些激活信息从短期内存移动到较慢但更丰富的内存类型，如闪存或SD卡，然后在需要时将其恢复。在另一种称为重物质化的方法中，机器删除激活，然后稍后再次计算。加州大学伯克利分校的计算机科学家、描述了该创新的论文的主要作者Shishir Patil说，它们结合使用了“次优”的“启发式”，通常需要大量能量。Patil及其合作者报告的创新将分页和重新实体化方法结合了起来。

“将这两种技术很好地结合到这个优化问题中，然后解决它，这真的很好，”加州大学河滨分校的计算机科学家Jiasi Chen说，他从事边缘计算研究，但没有参与这项工作。

7月，Patil在巴尔的摩举行的机器学习国际会议上介绍了他的系统，称为POET（private optimal energy training）。他首先给出了POET设备的技术细节，以及他所希望训练的神经网络结构的信息。他指定了内存预算和时间预算。然后，他要求设备创建一个培训流程，将能源消耗降至最低。该进程可能决定对某些重新计算效率低下的激活进行分页，但对其他易于重做但需要大量内存存储的激活进行重新实体化。

突破性创新的关键之一在于将问题定义为混合整数线性规划（MILP）难题，即一组约束和变量之间的关系。对于每个设备和网络架构，POET将其变量插入Patil手工编制的MILP程序，然后找到最佳解决方案。Chen说：“一个主要的挑战实际上是以一种好的方式来阐述这个问题，这样你就可以把它输入到一个解决方案中。因此，您可以捕获所有真实的系统动态，如能量、延迟和内存。”

该团队在四个不同的处理器上测试了POET，其RAM范围从32KB到8GB。研究人员分别训练了三种不同的神经网络结构：两种在图像识别中流行的类型（VGG16和ResNet-18），以及一种流行的语言处理网络（BERT）。在许多测试中，该系统可以减少大约80%的内存使用量，而不会大幅增加能耗。可比较的方法不能同时做到这两个。据Patil称，研究表明，BERT现在可以在最小的设备上进行训练，这在以前是不可能的。

Patil说：“当我们开始的时候，POET基本上是一个很好的主意。”现在，几家公司已经开始使用它，并且有一家大公司已经在其智能扬声器中试用了它。Patil说，非常棒的一点是，POET不会通过“量化”或缩写激活来降低网络精度，从而节省内存。因此，设计网络的团队不必与实现网络的团队协调，就精度和内存之间的权衡进行谈判。

Patil指出，除了隐私问题外，使用POET还有其他原因。一些设备需要在本地训练网络，以解决互联网连接很差或没有连接的问题 —— 这些设备包括在农场、潜艇或太空中使用的设备。由于数据传输需要太多能量，其他设置可以从创新中受益。POET还可以使大型设备互联网服务器更节省内存和能源。但对于数据保密，Patil说，“我想这是非常及时的，对吧？”当大型设备——互联网服务器——训练大型网络时，也可能从POET中受益。　　

      审核编辑：彭静