海量嘈杂数据决策树算法

　　针对当前决策树算法较少考虑训练集的嘈杂程度对模型的影响，以及传统驻留内存算法处理海量数据困难的问题，提出一种基于Hadoop平台的不确定概率C4.5算法-IP-C4.5算法。在训练模型时，IP-C4.5算法认为用于建树的训练集是不可靠的，通过用基于不确定概率的信息增益率作为分裂属性选择标准，减小了训练集的嘈杂性对模型的影响。在Hadoop平台下，通过将IP-C4.5算法以文件分裂的方式进行MapReduce化程序设计，增强了处理海量数据的能力。与C4.5和完全信条树（CCDT）算法的对比实验结果表明，在训练集数据是嘈杂的情况下，IP-C4.5算法的准确率相对更高，尤其当数据嘈杂度大于10%时，表现更加优秀；并且基于Hadoop的并行化的IP-C4.5算法具有处理海量数据的能力。