人工神经网络（感知机算法的意义）

因为支持向量机算是通过所有数据寻找最优分类方式的算法，而感知机算法是寻找某一分类方式的算法，所以，多数情况下，支持向量机求得的分类超平面优于感知机算法求得的分类超平面。  



图片来源：中国慕课大学《机器学习概论》  

因为感知机算法的性能较差，所以感知机算法已经不再被使用。但感知机算法对于机器学习算法的发展具有如下意义。    

一、提出机器学习算法框架  

假设某系统的输入为X，输出为Y。机器学习算法的目的寻找预测函数f(X,θ)，预测函数的形式通过人为设定的方式确定，机器学习算法的求解过程是通过训练数据集(Xi,yi)，i=1~N求解θ。  



图片来源：中国慕课大学《机器学习概论》  

在感知机算法中，待估及参数θ=(W,b)，f(X,θ)=sgn(WTX+b)，其中，sgn代表符号函数（x>0,sgn(x)=1；x=0,sgn(x)=0；x<0,sgn(x)=-1）。若X的维度为M，则θ的维度为M+1。此机器学习框架可应用于强化学习、无监督学习等机器学习领域。  

当训练数据的分布较复杂，所选取的f(X,θ)较简单时，无论θ为何值均不可全面模拟训练数据的分布。此种训练数据比预测函数复杂的情况被称为模型欠拟合（Underfit）。  

当训练数据的复杂度和f(X,θ)的复杂度相匹配时，模型预测能力最佳。  

当训练数据的分布较简单，所选取的f(X,θ)较复杂时，预测函数可以准确拟合数据，但在没有训练数据的区域，预测函数也会出现复杂函数值分布，不能反映训练数据分布的真实情况。此种预测函数比训练数据复杂的情况被称为模型过拟合（Overfit）。模型过拟合时，预测函数可以精确预测训练数据，但无法精确预测测试数据。

 

图片来源：中国慕课大学《机器学习概论》    

二、感知机算法是消耗较少内存资源算法的先驱  

2014年，Meta（Facebook）公司的DeepFace人脸识别系统需要通过超过400万张的人脸图片求解维度超过1800万的参数θ（个人理解：需要求解一个未知数超过1800万个的问题）。  

上述求解问题若采用支持向量机算法进行求解，需要将超过400万张的人脸图片的数据均输入至计算机，并需要计算机求解全局优化问题，此全局优化问题对计算机的存储资源和计算资源消耗较大。    



图片来源：中国慕课大学《机器学习概论》  

相比较而言，感知机算法只需存储W和b，并通过训练数据调整W和b的值（感知机算法通过加减法的方式调整W和b的值，此方式需要的计算资源较少），再循环调整W和b值过程，即可完成求解。其所需要的存储资源和计算资源较小。   目前，机器学习领域的训练数据量较大，类似感知机算法的求解方式，即每次输送小部分数据训练并循环的算法逐渐受到欢迎。而类似支持向量机，即针对所有数据进行全局优化的算法逐渐不占优势。  

审核编辑：刘清