小型Hadoop集群的数据分层调度处理算法分析

　　随着全球进入互联网时代，数据获取技术的不断发展带来数据量不断激增，数据的抓取调度成为关键信息有效采集的重点问题。与此同时，计算机受物理器件性能的限制，为了满足数据处理的要求，MySQL数据库面对的调度处理的要求也在逐渐提高，仅依靠CPU主频的提升并不能快速的处理大数据带来的压力，快速有效的算法成为目前数据挖掘的主流。本研究致力于数据挖掘分层调度处理，抓取的目标为各数据集的维度特征信息，最终设计并实现一种白配置的Hadoop分布式数据调度算法。因此，为了完成数据集分层调度功能的设计与实现，本系统主要包括两大基本模块：数据集的分层模块和调度模块。采用凝聚层次聚类对数据集进行分层处理，结合小型Hadoop分布式系统实现数据集分层调度。