程序猿为大家带来的深度学习版本“撩妹”技巧

人们对于程序猿的刻板印象，宅男、呆板、直男癌晚期……你所猜不到的另一面，程序猿撩起妹来不遑多让。不信，且看程序猿为大家带来的深度学习版本“撩妹”技巧。

LSTM算法

图1就是大名鼎鼎的长短记忆模型(Long Short-Term Memory,LSTM)，也是递归神经网络(Recurrent Neural Networks,RNN)中最受欢迎的一种形式。它最早是由Sepp Hochreiter于1991发表原型，然后Jürgen Schmidhuber于1997将该理论基础大功告成。没错！LSTM是个快要30岁的老算法了，它也是被Hinton发展出的深度学习优化方法救活的一票算法之一。

图1 LSTM算法

LSTM最大的好处在于它解决了递归神经网络容易发生的梯度爆炸以及梯度弥散问题，它使用了称之为「门控(Gate)」的机制，可以学习开启或是关闭的时机，来控制上下文向量(Context Vector)的流动。LSTM总共有3个门控，分别是输入门、遗忘门以及输出门。输入门负责管理新数据是否该纳入，而遗忘门负责管理哪些旧数据该遗忘，输出门则管理哪些上下文该纳入输出。所以，对女孩子说它的遗忘门总是关着，正是表达永不遗忘的最高礼遇。

Faster RCNN算法

Faster RCNN(图2)是由被粉丝们昵称为RGB的Ross B.Girshick所发表。自2013年起发表的RCNN三部曲包含RCNN、Fast RCNN以及Faster RCNN。最终版本Faster RCNN于2015发表，是精确率最高的物体检测算法之一；但可惜它是先定位，再分类的两阶段模型，所以速度不高。

图2 Faster RCNN算法

物体检测就是不但要知道照片里有什么(物体识别)，还需要把它框出来(物体检测)。Faster RCNN使用了Region Proposal Network，解决了过去算法中以人工方式产生大量候选位置区域(Proposal)的问题；并改用预埋的不同尺寸Anchor，来解决物体不确定尺寸大小与比例的问题。所以，不管天涯海角，Faster RCNN都能把妹的位置给检测出来。

Auto-Encoder算法

Auto-Encoder(图3)是最古老的深度学习结构之一。它是一个漏斗型的结构，让高维度数据逐步被降维，到了最窄处，再逐步升维，并且要求输入必须等于输出。这意味着最窄处被极致降维的结果必须包含重建原始高维数据的一切必要讯息。我们称这样的高度压缩向量为表征(Representation)或者是嵌入(Embedded)，这也是深度学习压缩算法的核心网络结构，由于它没有依赖任何外部卷标，因此被归属为标准的非监督式学习。所以只要看过妹的一颦一笑，它就能够取得表征，然后完整重现。

图3 Auto-Encoder算法

WaveNet算法

WaveNet(图4)是来自于Deepmind的得意之作，它也是目前声音生成模型的SOTA(State-of-The-Art)。WaveNet可以模仿人类或者是各种乐器的声音，他的模仿能力甚至连人类讲话时特有的换气呼吸声都可以模仿。

图4 Faster RCNN算法

WaveNet的本质是一个一维空洞卷积，一般我们用二维卷积处理二维的影像数据，那么一维的声音数据当然要用一维卷积。至于空洞卷积(Dilation)则是一种特殊卷积型态，它可以有效地在不增加训练参数的状况下，扩大每个卷积的感知域，这样就可以从细节到大趋势的捕捉声音特性。所以当然忘不了妹的声音。

Deep Belief Network算法

学深度学习的人千万不能不知道什么是深度信念网络(Deep Belief Network)，它是深度学习三大神之首Hinton发展深度学习理论时的第一个深度学习网络(图5)。所以，我也借用它作为我在大陆创业的公司名字Deepbelief.ai。

图5 Deep Belief Network算法

深度信念网络每一层都是受限波兹曼机(Restricted Boltzmann Machine,RBM)，Hinton拿它来做语音识别以及人脸识别，在那时都获得巨大的成功。这是神级的深度信念，妹怎能不感动。

DenseNet算法

DenseNet(图6)可以说是这类使用了跳转连接(Skip Connection)的卷积神经网络中的超级进化版，每一个稠密单元(Dense Block)中，每一层卷积神经层除了来自上一层传送的特征外，在之前的「每」一层都会透过跳转连接将特征直送，这样保证重要特征绝不丢失，所以超级珍惜与妹在一起的所有回忆。

图6 DenseNet算法

Attention算法

深度学习三大神之一的Yoshua Bengio首次将注意力机制(Attention)运用在机器翻译中，它模仿人类阅读文字的习惯，先逐字读取后，会将注意力放在特定的词汇以产生正确翻译结果，注意力机制可以衡量特别词汇的重要性(图7)。若是注意力一直在她身上，多么深情的执着。

图7 Attention算法

152-Layers ResNet算法

由微软亚洲研究院的两大男神孙剑与何恺明连手发表的ResNet，在2015年利用了一百五十二层前所未有的超深卷积神经网络获得了该年ImageNet的冠军，而且以仅有3.57%的物体识别错误率，终于在视觉领域上击败人类。一百五十二层残差神经网络，没有最深，只有更深(图8)。

图8 152-Layers ResNet算法

ResNet算法

残差神经网络(ResNet)利用了跳转链接传递梯度，逐层优化输出值与实际值之间的差异(残差)，可以有效地传递梯度避免梯度弥散，也成为现在最主流的卷积神经网络骨干架构(图9)。

图9 ResNet算法