自动编码器与PCA的比较

主成分分析（PCA）和自编码器（AutoEncoders， AE）是无监督学习中的两种代表性方法。

PCA 的地位不必多说，只要是讲到降维的书，一定会把 PCA 放到最前面，它与 LDA 同为机器学习中最基础的线性降维算法，SVM/Logistic Regression、PCA/LDA 也是最常被拿来作比较的两组算法。

自编码器虽然不像 PCA 那般在教科书上随处可见，但是在早期被拿来做深度网络的逐层预训练，其地位可见一斑。尽管在 ReLU、Dropout 等神器出现之后，人们不再使用 AutoEncoders 来预训练，但它延伸出的稀疏 AutoEncoders，降噪 AutoEncoders 等仍然被广泛用于表示学习。2017 年 Kaggle 比赛 Porto Seguro’s Safe Driver Prediction的冠军就是使用了降噪 AutoEncoders 来做表示学习，最终以绝对优势击败了手工特征工程的选手们。

PCA 和 AutoEncoders 都是非概率的方法，它们分别有一种对应的概率形式叫做概率 PCA （Probabilistic PCA） 和变分自编码器（Variational AE， VAE）。

自编码器的应用

第一是数据去噪。

第二是为进行可视化而降维。

第三是进行图像压缩。

第四传统自编码器被用于降维或特征学习。

自动编码器与PCA的比较

1）它是一种类似于 PCA 的无监督机器学习算法。大体上，AutoEncoder可以看作是PCA的非线性补丁加强版，PCA的取得的效果是建立在降维基础上的。

2）它要最小化和 PCA 一样的目标函数。自动编码器的目标是学习函数 h（x）≈x。换句话说，它要学习一个近似的恒等函数，使得输出 x^ 近似等于输入 x。

3）它是一种神经网络，这种神经网络的目标输出就是其输入。自动编码器属于神经网络家族，但它们也和 PCA（主成分分析）紧密相关。

总之，尽管自动编码器与 PCA 很相似，但自动编码器比 PCA 灵活得多。在编码过程中，自动编码器既能表征线性变换，也能表征非线性变换；而 PCA 只能执行线性变换。因为自动编码器的网络表征形式，所以可将其作为层用于构建深度学习网络。设置合适的维度和稀疏约束，自编码器可以学习到比PCA等技术更有意思的数据投影。

正如主成分分析（principal component analysis，PCA）算法，通过降低空间维数去除冗余，利用更少的特征来尽可能完整的描述数据信息。

实际应用中将学习得到的多种隐层特征（隐层数通常多个）与原始特征共同使用，可以明显提高算法的识别精度。

自编码器与DL

仿照stacked RBM构成的DBN，提出Stacked AutoEncoder，为非监督学习在深度网络的应用又添了猛将。

自编码器在实际应用中用的很少，2012年人们发现在卷积神经网络中使用自编码器做逐层预训练可以训练深度网络，但很快人们发现良好的初始化策略在训练深度网络上要比费劲的逐层预训练有效得多，2014年出现的Batch Normalization技术使得更深的网络也可以被有效训练，到了2015年底，通过使用残差学习（ResNet）我们基本上可以训练任意深度的神经网络。

各种自编码器的变种

如果在自编码器的基础上继续加上一些约束条件的话，就可以得到新的深度学习方法。

1）去噪自动编码器

2）稀疏自动编码器

3）变分自动编码器（VAE）

4）收缩自动编码器（CAE/contractive autoencoder）

训练方法

训练方法有很多，几乎可以采用任何连续化训练方法来训练参数，例如梯度下降、最小二乘、循环算法等等。但由于其模型结构不偏向生成型（一般是判别型），无法通过联合概率等定量形式确定模型合理性。