资料下载
×
数据流编程模型优化
消耗积分:0 |
格式:rar |
大小:1.02 MB |
2017-11-23
分享资料个
数据流编程模型将程序的计算与通信分离，暴露了应用程序潜在的并行性并简化了编程难度。分布式计算框架利用廉价PC构建多核集群解决了大规模并行计算问题，但多核集群层次性存储结构和处理单元对数据流程序的性能提出了新的挑战。针对数据流程序在分布式架构下所面临的问题，设计并实现了数据流编程模型和分布式计算框架的结合——在COStream的基础上提出了面向Storm的编译优化框架。框架包括两个模块：面向Storm的层次性任务划分与调度，以及面向Storm的层次性软件流水与代码生成。层次性任务划分利用Storm的任务调度机制将程序所有子任务分配到Storm集群节点内的多核上。层次性软件流水与代码生成将子任务构造成集群节点间的软件流水和节点内多核间的软件流水，并生成相应的目标代码。实验以多核集群为目标平台，在集群上搭建Storm分布式架构，选取数字媒体处理领域典型程序作为测试程序，对面向Storm的编译优化后的程序进行实验分析。实验结果表明了结合方法的有效性。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
