资料下载
×
异构环境中HDFS数据块并行传输调度算法
消耗积分:2 |
格式:rar |
大小:2.15 MB |
2018-01-29
分享资料个
近年来，随着网络和云计算技术的飞速发展，网络数据以几何级数的方式迅速增长。数据的爆炸性增长对存储系统的容量、可扩展性以及I/O性能等方面提出了越来越高的要求。如今虽然计算、传输和存储三大IT基础设施都得到了飞速的发展，但是相对于计算和传输而言，存储技术相对发展缓慢。分布式文件系统是指网络中的多个存储节点通过网络组织起来，并通过网络来完成各存储节点的通信和控制的文件系统。由于其能有效解决分布式存储系统的海量数据存储和I/O瓶颈问题，在容量和可扩展性等方面有很大优势，越来越受到企业界、学术界的青睐。
针对Hadoop分布式文件系统（HDFS）的写性能在执行效率上的不足，提出一种在节点性能异构环境中对HDFS数据块进行并发传输的调度算法。该算法实时监控HDFS集群中每个节点的资源状态和内存缓存队列，动态地将接收节点与转发节点进行配对传输，使全系统节点的网卡和磁盘并发工作，缩短了所有副本写入分布式文件系统的时间。将数据写入磁盘后请求下一个数据块，保证数据安全性，同时也使得各个节点获得与自身性能相匹配的副本数，使性能异构的系统能达到较高的写入速度。性能测试结果表明，使用该算法的分布式文件系统的写入性能较原始的HDFS提高了l倍。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
