资料下载
×
基于公平心跳超时容错机制
消耗积分:1 |
格式:rar |
大小:0.74 MB |
2018-01-02
分享资料个
针对官方的Hadoop软件中提供的节点心跳超时容错机制对短作业并不合理，而且忽略了异构集群中各节点超期时间设置的公平性的问题，提出了公平心跳超时容错机制。首先根据每个节点的可靠性及计算性能构建节点故障误判损失模型，提出公平误判损失（FMJL）算法，使其同时满足长作业和短作业要求；接着，设计并实现了基于FMJL算法的公平超时机制。在实现了公平超时机制的Hadoop上运行大约345 s的短作业时，当出现TaskTracker节点故障时作业完成时间平均大约节省了44%，与自适应超时机制相比，作业完成时间大约节省了23%。实验结果表明，公平超时机制在保证不影响长作业完成时间的情况下缩短了短作业的容错处理时间，提高了Hadoop的实时处理效率。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
