资料下载
×
异构Hadoop集群下的负载自适应反馈调度策略
消耗积分:0 |
格式:rar |
大小:0.91 MB |
2017-11-22
分享资料个
随着基于Hadoop平台的大数据技术的不断发展和实践的深入，Hadoop YARN资源调度策略在异构集群中的不适用性越发明显。一方面，节点资源无法动态分配，导致优势节点的计算资源浪费、系统性能没有充分发挥；另一方面，现有的静态资源分配策略未考虑作业在不同执行阶段的差异，易产生大量资源碎片。基于以上问题，提出了一种负载自适应调度策略。监控集群执行节点和提交作业的性能信息，利用实时监控数据建模、量化节点的综合计算能力，结合节点和作业的性能信息在调度器上启动基于相似度评估的动态资源调度方案。优化后的系统能够有效识别集群节点的执行能力差异，并根据作业任务的实时需求进行细粒度的动态资源调度，在完善YARN现有调度语义的同时，可作为子级资源调度方案架构在上层调度器下。在Hadoop 2．O上实现并测试该策略，实验结果表明，作业的自适应资源调度策略显著提高了资源利用率，集群并发度提高了2到3倍，时间性能提升了近10%。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
