资料下载
×
基于数据路由的分布式备份数据去重系统
消耗积分:1 |
格式:rar |
大小:1.33 MB |
2018-02-26
分享资料个
传统数据去重备份系统在大数据应用场景下存在备份存储空间过大和数据吞吐量不足等缺点。为此，基于数据路由设计一种分布式备份数据去重系统。该系统以数据片为去重粒度，具有数据路由和数据预取2个功能。数据路由使用布隆过滤器对需要处理的数据片进行路由查询，数据预取则使用平均取样和基于Jaccard距离的近邻取样方案。通过数据路由分配数据片到相应处理节点进行处理，平均取样得到的数据片哈希码为数据路由提供路由信息，近邻取样得到的数据片哈希码用于系统首次数据去重。实验结果表明，该系统在保证数据去重率的同时，相对全节点查询和定点路由的数据片路由方式数据吞吐量提升明显。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
