机器学习的变革,随机和分散的网络

如今的人工智能系统，例如受到神经元和神经系统连接启发的人工神经网络，在很多任务上表现得都不错。同样，这些系统需要强大的计算力和大量训练数据，这也使得它们能在围棋等游戏上达到甚至超越人类水平、能够检测出图像中的汽车、能分辨是猫是狗。但是，宾夕法尼亚大学的计算神经科学家Konrad Kording表示：“它们在音乐编曲或写短故事方面仍然表现不佳。它们在对实际情况进行有效推理时仍然有困难。”

为了突破这些限制，一些研究小组回过头来思考，大脑能否为创造新想法提供创意。但是其中有些人选择的研究对象看起来似乎很难：对气味的感知。科学家们尝试创建一种更好方法，理解器官是如何处理化学信息的，从而发现了与人工智能问题相关的编码策略。此外，嗅觉回路与更复杂的大脑区域非常相似，这些区域对构建更好地机器能提供帮助。

现在，计算机科学家们开始在机器学习环境中研究这些发现。

机器学习的变革

目前使用的领先的机器学习技术，有些是在模仿视觉系统的结构，基于对信息的分层提取。当大脑的视觉皮层接收到感知数据，它首先会选取一些小的、明确的特点，例如线条、结构、颜色等。神经科学家David Hubel和Torsten Wiesel在上世纪50和60年代发现，视觉系统中特殊的神经元对应着视网膜中相同位置的像素。这一发现让他们获得了诺贝尔奖。

随着视觉信息在大脑皮层神经元中传递，有关线条、结构和颜色的详细信息组合在一起构成了输入的抽象表示，即判断目标物体时人脸，之后确定他的身份。网络中的每一层都能帮助该器官达到这一目标。

深度神经网络也是用相似的分层方式搭建的，这对机器学习和AI研究来说是一场革命。想要教会这些网络辨认目标物体，例如人脸，它们就需要输入上千张样本图片。有了足够的样本，它就能在新图片和语境中识别出目标人脸。

研究人员在图像分类、语音识别、语言翻译以及其他机器学习应用中都取得了较大的成功。华盛顿大学计算神经科学中心的研究者Charles Delahunt表示：“我把深度网络看作是货运列车。它们非常强大，只要你有足够平的空地，就能在上面铺设铁轨、建造设施。但是我们知道生物系统并不需要这些，它们可以解决深度网络目前无法解决的问题。”

自动驾驶汽车是AI领域的热点话题，当汽车在新环境中实时导航时，这一环境可能经常在变化，充满了噪音，受视觉系统启发的深度学习技术可能会失灵。或许，只依靠视觉导航也许不是正确的方法。麻省理工学院的生物物理学家Adam Marblestone认为，这种视觉上的成功是历史发展的巧合。这一系统也是科学家们最了解的，能有明确的机器学习任务应用。

但是，加利福尼亚一名计算机科学家Saket Navlakha表示：“每一种刺激并非是按同一种方式进行处理的，例如视觉和嗅觉都是不同种类的信号……所以可能存在不同的方法，处理不同类型的数据。我认为除了研究视觉系统的工作原理外，还有很多需要了解的事。”

Saket Navlakha

他和他的同事们开始研究昆虫的嗅觉系统背后的秘密。上个世纪九十年代，生物学家Linda Buck和Richard Axel发现了有关气味接收器的基因，这才开始了对嗅觉的研究。但是从那时起，嗅觉系统仅仅能从苍蝇或其他昆虫中轻易地研究。有些科学家认为，视觉系统并不能用于一般的计算挑战任务中。

Delahunt说：“我们研究嗅觉，是因为它是一个有限的系统，你可以相对完整地描述它。”赫特福德郡大学的计算神经科学家Michael Schmuker表示：“人们已经能用视觉做出很强大的结果了，也许嗅觉同样如此。”

随机和分散的网络

嗅觉和视觉在很多角度都不同。味道是非结构化的，它们没有线条，也无法在空间中进行分类。它们是各种成分和浓度的混合体，并且难以用种类进行区分。所以并不确定应该关注哪些特征。

嗅觉系统中的神经元是对整个接收区域随机采样，并非针对某一特定区域。在类似视觉皮层的映射系统中，神经元所在的位置解释了它所携带的信息。但是在嗅觉皮层中却不是这样的，信息分布在系统中，要读取数据需要对少量神经元进行采样。

以果蝇的嗅觉循环为例：50个投射神经元从接收器中接收了输入，每个都对不同的模块有反应。一种气味可能会让多种不同神经元有反应，而且每种神经元可以表示多种气味。这样的信息非常会乱，各种表示也相互重叠。之后，这些信息被随机投射到2000个Kenyon细胞上，该细胞中含有特殊的气味，其中包含的维度比之前多了40倍，分辨气味更加容易。

一旦果蝇的嗅觉循环完成，它就需要找到一种方法用非重叠的神经元区分味道。它通过对数据“稀疏化”完成这一过程，只有大约100个Kenyon细胞对特定气味有反应，这就能够给每种气味打上唯一的标签。

简单来说，虽然传统的深度网络会在“学习”的过程中改变它们连接的力量，但嗅觉系统通常不会通过调整投射神经元和Kenyon细胞之间的连接而训练自己。

本世纪初，研究者创建了相应算法来判断随机嵌入和更高维度的分散是如何帮助提高计算效率的。英国斯科塞斯大学的Thomas Nowotny和加利福尼亚大学圣迭戈分校的Ramón Huerta利用支持向量机进行这一问题的研究。他们认为，不论是自然还是人工的信息处理系统，在利用随机组织和维度扩张来高效地表示复杂数据时，方法都是相同的。

基于此，Nowotny和他的同事们继续探寻嗅觉和机器学习之间的关系，看二者之间是否有更深的联系。2009年，他们证明了一种基于昆虫的嗅觉模型可以辨认手写数字。即使去除了大部分神经元，也不会过度影响模型性能。

但在这之后，就很少有相关研究出现。直到最近一些科学家们开始回顾嗅觉的生物系统能否改善相关的机器学习问题。

基于嗅觉的多种成果

Delahunt和他的同事们重复了Nowotny等人的部分工作，用飞蛾的嗅觉系统作为基础，将它与传统的机器学习模型相比。只提供不到20个样本，基于飞蛾的模型能更好地识别出手写数字，但是随着训练数据的增加，其他模型也能得出更精确的结果。

至于学习速度，嗅觉似乎表现得更好。在这种情况下，学习不再是寻找最佳特征和表示，而是减少了辨认大量随机特征的机会，很多都是无用的。南方医科大学的生物学家Fei Peng表示：“如果能点击一下鼠标就能完成训练，不就太完美了吗？”

嗅觉策略的其中一个著名案例是去年Navlakha实验室的成果，研究者们想找到一种基于嗅觉的方法，利用相似性进行搜索。就像各类视频网站总是在页面边缘推荐相关信息一样，器官也要在辨认气味时快速做出对比和判断。果蝇最初可能会学习接近成熟的香蕉味道，远离醋味，但是由于环境非常复杂，充满噪声，它无法多次闻到同样的气味。当它感知到一种新味道后，果蝇要思考之前闻过的哪种气味更接近，这样才能做出正确的反应。

Charles Delahunt（左）和J.Nathan Kutz（右）

Navlakha创造了一种基于气味相似性的搜索算法，将其应用到了图片数据集上。他和他的团队发现他们的算法比传统的非生物方法好两到三倍。除此之外，Peng和他的同事们，基于蚂蚁的嗅觉模型研究它们是如何进行导航的。Nowotny正在研究嗅觉系统是如何处理混合物的，例如器官可以在多种味道的混合中分辨出一种特定的味道。

这一想法可能对AI领域的“鸡尾酒问题”有所帮助，这一问题是指想在嘈杂的环境中分离多种对话有多困难。如果一间房间里有很多说话者，AI可能通过分辨声音信号来确定不同的发言者。

结语

嗅觉是一种古老的系统，可以追溯到细菌的生化感知能力，很多生物的器官都用它来探索环境。让科学家们感到欣慰的是，嗅觉系统的结构和许多物种大脑的其他区域惊人地相似，特别是涉及记忆和导航的海马体，以及负责运动控制的小脑。

嗅觉循环可以用作理解海马体和小脑使用的复杂学习算法和计算的手段，并且可以应用于AI之上。研究人员已经开始转向研究注意力和各种形式的认知过程，希望能找到改进当前机器学习架构和机制的方法。而嗅觉可能提供了一种更简单的方法建立这些连接。