资料下载
×
一种轻量级的大数据运算系统-Helius
消耗积分:1 |
格式:rar |
大小:0.92 MB |
2017-12-06
分享资料个
针对Spark数据集不可变，以及Java虚拟机（JVM）依赖环境引起的代码执行、内存管理、数据序列化／反序列化等开销过多的不足，采用C/C++语言，设计并实现了一种轻量级的大数据运算系统-Helius。Helius支持Spark的基本操作，同时允许数据集整体修改；同时，Helius利用C/C++优化内存管理和网络传输，并采用stateless worker机制简化分布式计算平台的容错恢复过程。实验结果显示：5次迭代中，Helius运行PageRank算法的时间仅为Spark的25. 12% - 53. 14%，运行TPCH Q6的时间仅为Spark的57. 37%；在PageRank迭代1次的基础上，运行在Helius系统下时，master节点IP接收和发送数据量约为运行于Spark系统的40%和15%，而且200 s的运行过程中，Helius占用的总内存约为Spark的25%。实验结果与分析表明，与Spark相比，Helius具有节约内存、不需要序列化和反序列化、减少网络交互以及容错简单等优点。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
