资料下载
×
基于Hadoop的I/O硬件压缩加速器
消耗积分:1 |
格式:rar |
大小:0.51 MB |
2017-11-27
分享资料个
随着大数据的发展，Hadoop系统成为了大数据处理中的重要工具之一。在实际应用中，Hadoop的I/O作制约系统性能的提升。通常Hadoop系统通过软件压缩数据来减少I/O操作，但是软件压缩速度较慢，因此使用硬件压缩加速器来替换软件压缩。Hadoop运行在Java虚拟机上，无法直接调用底层I/O硬件压缩加速器。通过实现Hadoop压缩器／解压缩器类和设计C++动态链接库来解决从Hadoop系统中获得压缩数据和将数据流向I/O硬件压缩加速器两个关键技术，从而将I/O硬件压缩加速器集成到Hadoop系统框架。实验结果表明，I/O硬件压缩加速器的每赫兹压缩速度为15.9 Byte/s/Hz，集成I/O硬件压缩加速器提升Hadoop系统性能2倍。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
