神经科学的深度学习框架

抽象   

系统神经科学寻求解释大脑如何执行各种感知、认知和运动任务。相反，人工智能试图根据它们必须解决的任务来设计计算系统。对于人工神经网络，设计指定的三个组件是目标函数、学习规则和架构。随着利用大脑启发架构的深度学习越来越成功，这三个设计组件越来越成为我们如何建模、设计和优化复杂人工学习系统的核心。在这里，我们认为更多地关注这些组件也有利于系统神经科学。我们举例说明了这种基于优化的框架如何推动神经科学的理论和实验进展

学习目标，表示为要最大化或最小化的目标函数（或损失函数）；一组学习规则，表示为突触权重更新；和网络架构，表示为信息流的路径和连接（图。1) 15。在这个框架内，我们不寻求总结计算是如何执行的，但我们确实总结了哪些目标函数、学习规则和架构将能够学习该计算。

由于单个神经元的反应受到环境的影响，因此它们的计算应该反映这一海量信息源。我们可以在大脑中无处不在的神经元中看到这一点的证据，这些神经元在其活动中具有高熵，并且与实验者迄今为止探索的大量刺激和行为没有表现出易于描述的相关性6 , 7。

为了澄清我们的主张，我们建议使用这三个组成部分来确定规范性解释可能是一种富有成效的方式，可以继续开发更好的、非紧凑的电路神经元响应特性模型，如最近的研究所示，使用任务优化的深度 ANN 以确定激活特定神经元的最佳刺激29. 作为一个类比，自然选择进化论为物种出现的原因提供了一个简洁的解释，可以用相对较少的文字来说明。

这种对物种出现的简洁解释随后可用于开发特定物种系统发育的更复杂、非紧凑的模型。我们的建议是，基于这三个组成部分的规范性解释可以提供类似的高级理论来生成我们的低级神经反应模型，这将使我们更接近许多科学家寻求的“理解”形式。

值得一提的是，研究人员长期以来一直假设目标函数和可塑性规则来解释神经回路的功能59 – 62。然而，他们中的许多人回避了分层信用分配的问题，这是深度学习15的关键。也有明显的实验成功案例，包括预测编码31、63、强化学习64、65和分层感官处理17、28方面的工作. 因此，我们在此阐明的基于优化的框架可以并且已经与个体神经元反应特性的研究一起运作。但是，我们相信，如果更广泛地采用以三个核心组件为重点的框架，我们将会取得更大的成功。

去：

湿实验室中的架构、学习规则和目标函数

此处阐述的框架如何与实验工作相结合？取得进展的一种方法是使用三个核心组件构建工作模型，然后将模型与大脑进行比较。理想情况下，此类模型应检查所有级别：(1) 它们应解决正在考虑的 Brain Set 中的复杂任务。(2) 他们应该了解我们的解剖学和可塑性知识。并且，（3）他们应该重现我们在大脑中观察到的表征和表征的变化（图 4). 当然，检查这些标准中的每一个都非常重要。它可能需要许多新的实验范式。检查模型是否可以解决给定任务相对简单，但要建立代表性和解剖学匹配并不容易，这是一个活跃的研究领域66、67。幸运的是，优化框架的模块化允许研究人员尝试单独研究这三个组件中的每一个

大脑结构的实证研究   

为了能够识别定义大脑归纳偏差的结构，我们需要继续进行实验，在电路层面探索神经解剖学。要在优化框架内真正构建神经解剖学，我们还必须能够确定哪些信息可用于电路，包括有关动作结果的信号可能来自何处。最终，我们希望能够将解剖学的这些方面与指导负责学习的发育过程的具体生物标记联系起来。

为了描述神经系统的解剖结构，已经进行了大量的实验工作。我们正在使用一系列成像技术来量化电路57和68的解剖结构和发展。在绘制具有细胞类型特异性的神经回路投射方面也进行了大量工作56。试图绘制大脑层次结构的研究早已存在69，但几个小组现在正在探索深度 ANN 层次结构的哪些部分最能反映大脑的哪些区域17 , 70. 例如，纹状皮层中的表示（例如，通过相异矩阵测量）更好地匹配深度 ANN 的早期层，而下颞叶皮层中的表示更好地匹配后面的层8 , 71。这种工作压力还涉及深度 ANN 架构的优化，以便它们更贴近大脑中的表征动态，例如通过探索不同的循环连接模式66。面对已经和将要进行的一组令人眼花缭乱的解剖学观察，将解剖学与目标函数和学习规则一起置于框架中的理论和框架提供了一种方法，可以将那些最具解释力的特征归零。

大脑学习规则的实证研究   

研究突触可塑性规则的神经科学有着悠久的传统。然而，这些研究很少探讨学分分配是如何发生的。然而，正如我们上面所讨论的（方框 1），信用分配是 ANN 学习的关键，也可能存在于大脑中。值得庆幸的是，自上而下的反馈和神经调节系统已成为近期突触可塑性研究的焦点72 – 76。这允许一些具体的建议，例如关于顶端树突如何参与信用分配12、14，或者自上而下的注意力机制如何与神经调节剂相结合可以解决信用分配问题37、38（图 5). 我们还可以查看表征的变化，并从这些观察结果中推断出可塑性规则77。对于实验者来说，测量动物达到稳定表现期间和之后的神经反应非常重要，以便捕捉表征在学习过程中如何演变。着眼于学分分配的学习规则工作正在对影响可塑性的无数因素产生更细粒度的理解78。

将来，我们应该更好地研究学习规则并考虑优化。随着光学技术的改进，并可能为我们提供一种估计体内 突触变化的方法79，我们可能能够将突触变化与行为错误等直接联系起来。我们还可以直接测试可以解决信用分配问题的学习规则的假设生物模型，例如使用注意力37、38或使用树突信号进行信用分配12、14的模型（图 5).

大脑中目标函数的实证研究   

在某些情况下，大脑正在优化的目标函数可能直接在我们可以监控和记录的神经信号中表示。在其他情况下，目标函数可能只隐含地存在于控制突触更新的可塑性规则方面。最优控制等规范性概念是适用的80，进化思想可以启发我们的思维。更具体地说，动物行为学可以提供关于哪些功能对动物优化有用的指导81，为我们提供一个有意义的直观空间来思考目标功能。

长期以来一直有文献试图将实验数据与目标函数联系起来。这始于将已知可塑性规则与潜在目标函数相关联的理论工作。例如，有一些研究试图通过比较实验观察到的神经活动与在自然场景中训练的 ANN 的神经活动来估计目标函数59、82。还有一些方法使用逆向强化学习来确定系统优化了什么83。此外，有人可能会争辩说，我们可以通过寻找针对给定目标优化的表征几何与真实神经表征几何之间的相关性来处理目标函数28 , 84. 另一种新出现的方法询问在控制脑机接口 (BCI) 设备时动物的电路可以优化什么85。因此，建立在先前工作80基础上的越来越多的文献帮助我们探索大脑中的目标功能。

结论   

许多系统神经科学都试图就大脑中单个神经元的功能制定简洁的陈述。这种方法已经成功地解释了一些（相对较小的）电路和某些硬连线行为。然而，有理由相信，如果我们要开发具有数千、数百万或数十亿个神经元的塑料电路的良好模型，这种方法将需要得到其他见解的补充。不幸的是，不能保证中枢神经系统中单个神经元的功能可以压缩为人类可解释的、可口头表达的形式。鉴于我们目前没有很好的方法将深度 ANN 中各个单元的功能提炼成文字，并且考虑到真实的大脑可能更复杂，而不是更不复杂，

系统神经科学的当前理论既美丽又富有洞察力，但我们相信它们可以受益于建立在优化基础上的内聚框架。例如，局部可塑性规则，如赫布机制，解释了大量的生物数据。但是，为了在复杂任务上取得良好的性能，在设计 Hebb 规则时必须考虑目标函数和架构34、90。同样，其他研究人员也有充分的理由指出了大脑利用归纳偏差的好处48. 然而，归纳偏差本身并不足以解决复杂的任务，例如 AI 集或各种 Brain Sets 中包含的任务。为了解决这些难题，归纳偏差必须与学习和学分分配相结合。正如我们所说，如果动物可以解决的一组任务是神经科学的基本考虑因素，那么构建能够实际解决这些任务的模型就至关重要。

不可避免地，需要自下而上的描述性工作和自上而下的理论工作才能在系统神经科学中取得进展。不过，重要的是从正确的自上而下的理论框架开始。鉴于现代机器学习能够解决人工智能集和众多脑集中的问题，用机器学习的洞察力来指导系统神经科学研究的自上而下的框架将是富有成效的。如果我们在这种心态提供的框架内考虑研究数据，并将注意力集中在此处确定的三个基本组成部分上，我们相信我们可以开发出大脑理论，从而充分利用当前神经科学技术革命的好处。

审核编辑：刘清