基于Hadoop的数据驱动的并行增量算法

　　针对传统支持向量机（SVM）算法难以处理大规模训练数据的困境，提出一种基于Hadoop的数据驱动的并行增量Adaboost-SVM算法（PIASVM）。利用集成学习策略，局部分类器处理一个分区的数据，融合其分类结果得到组合分类器；增量学习中用权值刻画样本的空间分布特性，对样本进行迭代加权，利用遗忘因子实现新增样本的选择及历史样本的淘汰；采用基于HBase的控制器组件用以调度迭代过程，持久化中间结果并减小MapReduce原有框架迭代过程中的带宽压力。多组实验结果表明，所提算法具有优良的加速比、扩展率和数据伸缩度，在保证分类精度的基础上提高了SVM算法对大规模数据的处理能力。