基于Hadoop平台的分布式重复数据删除解决方案

　　针对数据中心存在大量数据冗余的问题，特别是备份数据造成的存储容量浪费，提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据，来显著降低数据存储容量，优化存储空间利用率。利用Hadoop大数据处理平台下的分布式文件系统（HDFS）和非关系型数据库HBase两种数据管理模式，设计并实现一种可扩展分布式重删存储系统。其中，MapReduce并行编程框架实现分布式并行重删处理，HDFS负责重删后的数据存储，在HBase数据库中构建索引表，实现高效数据块索引查询。最后，利用虚拟机镜像文件数据集对系统进行了测试，基于Hadoop平台的分布式重删系统能在保证高重删率的同时，具有高吞吐率和良好的可扩展性。