深度学习的神经网络架构解析

人工智能之深度学习

深度学习的神经网络（NeuralNetwork）架构

• 感知器（Perceptron）

o 感知器是所有神经网络中最基本的，也是更复杂的神经网络的基本组成部分。它只连接一个输入神经元和一个输出神经元。

• 前馈（Feed-Forward）网络

o 前馈网络是感知器的集合，其中有三种基本类型的层: 输入层、隐藏层和输出层。在每个连接过程中，来自前一层的信号被乘以一个权重，增加一个偏置，然后通过一个激活函数。前馈网络使用反向传播迭代更新参数，直到达到理想的性能。

• 循环神经网络（Recurrent Neural Network/RNN）

o 循环神经网络是一种特殊类型的网络，它包含环和自重复，因此被称为“循环”。由于允许信息存储在网络中，RNNs使用以前训练中的推理来对即将到来的事件做出更好、更明智的决定。它是具有时间联结的前馈神经网络：它们有了状态，通道与通道之间有了时间上的联系。神经元的输入信息，不仅包括前一神经细胞层的输出，还包括它自身在先前通道的状态。

• 长短期记忆网络(Long Short Term Memory Network/LSTM）

o 由于上下文信息的范围在实践中是非常有限的，所以RNNs有个大问题。给定的输入对隐藏层(即对网络的输出）输入的影响(反向传播误差），要么指数级爆炸，要么网络连接循环衰减为零。解决这个梯度消失问题的方法是长短期记忆网络(LSTM）。

• 自动编码器(Auto Encoder/AE）

o 自动编码器的基本思想是将原始的高维数据“压缩”成高信息量的低维数据，然后将压缩后的数据投影到一个新的空间中。自动编码器有许多应用，包括降维、图像压缩、数据去噪、特征提取、图像生成和推荐系统。它既可以是无监督的方法，也可以是有监督的，可以得到对数据本质的洞见。

• 变分自动编码器(Variational Auto Encoder/VAE）

o 自动编码器学习一个输入（可以是图像或文本序列）的压缩表示，例如，压缩输入，然后解压缩回来匹配原始输入，而变分自动编码器是学习基于数据的概率分布。不仅仅是学习一个代表数据的函数，它还获得了更详细和细致的数据视图，从分布中抽样并生成新的输入数据样本。

• 卷积神经网络（Deep Convolutional Network/DCN）

o 图像具有非常高的维数，因此训练一个标准的前馈网络来识别图像将需要成千上万的输入神经元，除了显而易见的高计算量，还可能导致许多与神经网络中的维数灾难相关的问题。卷积神经网络提供了一个解决方案，利用卷积和池化层，来降低图像的维度。由于卷积层是可训练的，但参数明显少于标准的隐藏层，它能够突出图像的重要部分，并向前传播每个重要部分。传统的CNNs（卷积神经网络）中，最后几层是隐藏层，用来处理“压缩的图像信息”。

• 反卷积神经网络（Deconvolutional Network/DN）

o 正如它的名字所暗示的那样，反卷积神经网络与卷积神经网络操作相反。DN不是通过卷积来降低图像的维数，而是利用反卷积来创建图像，通常是从噪声中获得图像。

• 生成对抗网络(Generative Adversarial Network/GAN）

o 生成对抗网络是一种专门设计用于生成图像的网络，由两个网络组成: 一个鉴别器和一个生成器。鉴别器的任务是区分图像是从数据集中提取的还是由生成器生成的，生成器的任务是生成足够逼真的图像，以至于鉴别器无法区分图像是否真实。随着时间的推移，在谨慎的监督下，这两个对手相互竞争，彼此都想成功地改进对方。最终的结果是一个训练有素的生成器，可以生成逼真的图像。鉴别器是一个卷积神经网络，其目标是最大限度地提高识别真假图像的准确率，而生成器是一个反卷积神经网络，其目标是最小化鉴别器的性能。

• 马尔可夫链（Markov Chain/MC）

o 马尔可夫链（MC：Markov Chain）或离散时间马尔可夫链（DTMC：MC or discrete time Markov Chain）在某种意义上是BMs和HNs的前身。

• 霍普菲尔网络（Hopfield network/HN）

o 一种每一个神经元都跟其它神经元相互连接的网络。

• 玻尔兹曼机（Boltzmann machines/BM）

o 和霍普菲尔网络很接近，差别只是：一些神经元作为输入神经元，剩余的则是作为隐神经元。在整个神经网络更新过后，输入神经元成为输出神经元。刚开始神经元的权重都是随机的，通过反向传播（back-propagation）算法进行学习，或是最近常用的对比散度（contrastive divergence）算法（马尔可夫链用于计算两个信息增益之间的梯度）。

• 回声状态网络（Echo state networks/ESN）

o 回声状态网络是另一种不同类型的（循环）网络。它的不同之处在于：神经元之间的连接是随机的（没有整齐划一的神经细胞层），其训练过程也有所不同。不同于输入数据后反向传播误差，ESN先输入数据、前馈、而后更新神经元状态，最后来观察结果。它的输入层和输出层在这里扮演的角色不太常规，输入层用来主导网络，输出层作为激活模式的观测器随时间展开。在训练过程中，只有观测和隐藏单元之间连接会被改变。

• 深度残差网络（Deep residual networks/DRN）

o 是非常深的FFNN网络，它有一种特殊的连接，可以把信息从某一神经细胞层传至后面几层（通常是2到5层）。

• Kohonen 网络（KN）

o KN利用竞争学习来对数据进行分类，不需要监督。先给神经网络一个输入，而后它会评估哪个神经元最匹配该输入。然后这个神经元会继续调整以更好地匹配输入数据，同时带动相邻的神经元。相邻神经元移动的距离，取决于它们与最佳匹配单元之间的距离。

• 神经图灵机（Neural Turing machines/NTM）

o 可以理解为对LSTM的抽象，它试图把神经网络去黑箱化（以窥探其内部发生的细节）。NTM不是把记忆单元设计在神经元内，而是分离出来。NTM试图结合常规数字信息存储的高效性、永久性与神经网络的效率及函数表达能力。它的想法是设计一个可作内容寻址的记忆库，并让神经网络对其进行读写操作。NTM名字中的“图灵（Turing）”是表明，它是图灵完备（Turing complete）的，即具备基于它所读取的内容来读取、写入、修改状态的能力，也就是能表达一个通用图灵机所能表达的一切。

审核编辑：汤梓红