×

内存与文件共享机制的Spark I/O性能优化

消耗积分:1 | 格式:rar | 大小:1.32 MB | 2018-02-09

分享资料个

　　在目前的大数据时代，机器学习和数据挖掘所需面对的数据量越来越大，甚至达到了PB级。传统单机平台的性能无法满足现今大数据处理的要求，闭源的分布式平台价格高昂，难以广泛应用，而以Hadoop为代表的开源分布式平台成为了主流选择。Hadoop平台是2005年加入Apache软件基金会旗下的一个分布式平台，它集成了Map/Reduce分布式计算模式，类似于Google File System的分布式存储结构。但在Hadoop平台设计中，其计算过程大量依赖磁盘，因为磁盘I/O延迟和任务调度方法使其计算性能不高。如今，对Hadoop平台的研究主要集中在Hadoop的优化与应用方向，包括HDFS存储平台的性能研究、MapReduce计算框架的参数调整及调度算法优化。

内存与文件共享机制的Spark I/O性能优化

下载并关注上传者 开通VIP，低至0.08元下载/次

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !