资料下载
×
内存与文件共享机制的Spark I/O性能优化
消耗积分:1 |
格式:rar |
大小:1.32 MB |
2018-02-09
分享资料个
在目前的大数据时代，机器学习和数据挖掘所需面对的数据量越来越大，甚至达到了PB级。传统单机平台的性能无法满足现今大数据处理的要求，闭源的分布式平台价格高昂，难以广泛应用，而以Hadoop为代表的开源分布式平台成为了主流选择。Hadoop平台是2005年加入Apache软件基金会旗下的一个分布式平台，它集成了Map/Reduce分布式计算模式，类似于Google File System的分布式存储结构。但在Hadoop平台设计中，其计算过程大量依赖磁盘，因为磁盘I/O延迟和任务调度方法使其计算性能不高。如今，对Hadoop平台的研究主要集中在Hadoop的优化与应用方向，包括HDFS存储平台的性能研究、MapReduce计算框架的参数调整及调度算法优化。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
