关联性驱动的大数据处理任务调度方案

　　目前大数据处理过程较少关注任务所处理数据间的依赖关系，在任务执行过程中可能产生大量数据迁移，影响数据处理效率．为减少数据迁移，提升任务执行性能，从数据关联性及数据本地性两个角度出发，提出了一种数据关联性驱动的大数据处理任务优化调度方案：D3S2（data_dependency_driven scheduling scheme）.D3S2由两部分组成：（1）数据关联性感知的数据优化放置机制（dependency-aware placement mechanism，简称DAPM），根据日志信息挖掘数据关联性，进而将强关联的数据聚合并放置于相同机架上，减少了跨机架的数据迁移；（2）数据迁移代价感知的任务优化调度机制（transfer-aware scheduling mechanism，简称TASM），完成数据放置后，以数据本地性为约束，对任务进行统一调度，最小化任务执行过程中的数据迁移代价.DAPM和TASM互相提供决策依据，以任务执行代价最小化为目标不断迭代调整调度方案，直至最优任务调度方案．在Hadoop平台上进行的实验结果表明：较之原生Hadoop，在不增加作业完成时间的基础上，D3S2减少了作业执行过程中的数据迁移量。