×

MapReduce框架下分布式编码计算容错算法

消耗积分:0 | 格式:pdf | 大小:1.61 MB | 2021-06-01

分享资料个

　　随着分布式系统规模扩大及计算复杂度增加，分布式计算的平均故障修复时间和容错计算所产生的通信开销呈现日益上升趋势。结合分布式编码计算和副本冗余技术，提出一种新的容错算法。map节点应用分布式编码计算的思想，将数据冗余分配至多个计算节点创建编码中间结果，降低计算节点在 shuffle阶段的数据传输量reduce节点通过对接收到的编码中间结果进行解码，从而验证中间结果的正确性并得到最终计算结果。实验结果表明，在基于 Mapreduce的分布式计算框架下，与三模冗余和两阶段模冗余容错算法相比，该算法在完成容错计算的同时能降低计算过程中的通信开销和平均故障修复时间，并提高分布式系统的可用性和可靠性。

下载并关注上传者 低至0.43元/天 开通VIP 免费下载

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !