基于Spark的BIRCH算法并行化的设计与实现

　　在分布式计算和内存为王的时代，Spark作为基于内存计算的分布式框架技术得到了前所未有的关注与应用。着重研究BIRCH算法在Spark上并行化的设计和实现，经过理论性能分析得到并行化过程中时间消耗较多的Spark转化操作，同时根据并行化BIRCH算法的有向无环图DAG，减少shuf_fle和磁盘读写频率，以期达到性能优化。最后，将并行化后的BIRCH算法分别与单机的BIRCH算法和MLlib中的KMeans聚类算法做了性能对比实验。实验结果表明，通过Spark对BIRCH算法并行化，其聚类质量没有明显的损失，并且获得了比较理想的运行时间和加速比。