深度学习的发展历程

深度学习是机器学习的一个分支，它除了可以学习特征和任务之间的关联以外，还能自动从简单特征中提取更加复杂的特征。2012年以后，深度学习（DeepLearning，DL）的热度呈指数上升，深度学习最具代表性的一类方法是深度神经网络，神经网络试图模拟大脑神经元层的活动，以学习如何识别数据中的复杂模式。深度学习的前身为人工神经网络（ArtificialNeuralNetwork，ANN），ANN的历史可以追溯到上世纪50年代。目前深度学习最最成熟的技术本质上依然是人工神经网络。

1958年Rosenblatt发明了感知器（Perceptron）算法。该算法使用MCP模型（MCP是作者名字的缩写）对输入的多维数据进行二分类，且能够使用梯度下降法从训练样本中自动学习更新权值。1962年，该方法被证明能够收敛，理论与实践效果引起第一次神经网络的研究浪潮。1969年，美国数学家及人工智能先驱Minsky在其著作中证明感知器本质上是一种线性模型，只能处理线性分类问题，就连最简单的XOR（亦或）问题都无法正确分类，这间接宣判了感知器的死刑，神经网络的研究因此陷入了近20年的停滞。

直到上世纪80年代，Hinton在1986年发明了适用于多层感知器（Multi-layersperceptron）的反向传播算法，并采用Sigmoid函数进行非线性映射，有效解决了非线性分类和学习的问题，该方法引起了神经网络的第二次热潮。YanLecun等人于1998年发明了深度卷积神经网络LeNet-5，该网络引入了卷积层，下采样层和全连接层，是现在大部分深度卷积神经网络的雏形，LeNet-5成功地运用到手写数字（MNIST）识别任务。然而由于神经网络一直缺少相应的严格的数学理论支持，神经网络的研究进入第二次低潮期。随后决策树方法、SVM、朴素贝叶斯等统计学方法成为机器学习研究的主流。

2006年，Hinton等人在其研究中提出了深度学习的概念，之后在众多研究者努力下，随机梯度下降法（StochasticGradientDescent，SGD），Dropout等网络优化策略被相继提出，尤其是GPU并行计算技术解决了深度网络参数多优化时间长的难题后，全世界范围内掀起了研究深度学习的热潮并持续至今。10多年来，许多经典的深度学习架构被提出，如典型的深度卷积神经网络架构AlexNet，循环神经网络（RecurrentNeuralNetworks，RNN）、长短期记忆网络（LongShort-TermMemory，LSTM）、生成式对抗网络（GenerativeAdversarialNetwork，GAN）等。

责任编辑人：CC