×

小文件存取优化方法

消耗积分:2 | 格式:rar | 大小:0.78 MB | 2018-01-24

分享资料个

　　为提高Hadoop分布式文件系统（HDFS）的小文件处理效率，提出了一种面向HDFS的智能小文件存取优化方法-SmartFS。SmartFS通过分析小文件访问日志，获取用户访问行为，建立文件关联概率模型，并根据基于文件关联关系的合并算法将小文件组装成大文件之后存至HDFS；当从HDFS获取文件时，根据基于文件关联关系的预取算法来提高文件访问效率，并提出基于预取的缓存替换算法来管理缓存空间，从而提高文件的命中率。实验结果表明，SmartFS有效减少了HDFS中NameNode的元数据空间，减少了用户与HDFS的交互次数，提高了小文件的存储效率和访问速度。

　　为提高Hadoop分布式文件系统（HDFS）的小文件处理效率，提出了一种面向HDFS的智能小文件存取优化方法-SmartFS。SmartFS通过分析小文件访问日志，获取用户访问行为，建立文件关联概率模型，并根据基于文件关联关系的合并算法将小文件组装成大文件之后存至HDFS；当从HDFS获取文件时，根据基于文件关联关系的预取算法来提高文件访问效率，并提出基于预取的缓存替换算法来管理缓存空间，从而提高文件的命中率。实验结果表明，SmartFS有效减少了HDFS中NameNode的元数据空间，减少了用户与HDFS的交互次数，提高了小文件的存储效率和访问速度。

下载并关注上传者 低至0.43元/天 开通VIP 免费下载

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !