资料下载
×
基于异常检测模型的MapReduce性能优化
消耗积分:1 |
格式:rar |
大小:0.77 MB |
2018-01-03
分享资料个
针对“落伍者”的选择问题，提出利用故障诊断领域内通常使用的异常检测模型来选择“落伍者”的方法。首先，利用异常检测算法来发现集群中的“慢节点”；然后改进MapReduce任务分配算法和推测执行算法，不再给“慢节点”分配任务并将“慢节点”中的任务分配至有空闲任务槽的正常节点中。在改进的推测执行算法中，因相同网段内的节点通常物理邻近，可提高数据传输速度，首次将“慢节点”中的任务分配至同网段的正常节点中，以便数据传输。实例验证结果表明，使用异常检测算法后可迅速检测出异常节点，且与Hadoop-LATE算法相比，处理相同任务量可缩短集群17%的任务处理时间，说明所提算法在集群整体性能优化中表现优异。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
