资料下载
×
MapReduce连接查询的IO代价研究
消耗积分:2 |
格式:rar |
大小:1.01 MB |
2018-01-31
分享资料个
数据的指数级增长给数据管理和分析带来了严峻的挑战，连接查询是数据分析中一种常用运算，而MapReduce是一种用于大规模数据集并行处理的编程模型，研究基于MapReduce的连接查询代价评估和查询优化，有着学术意义和应用价值．MapReduce连接查询算法的性能主要取决于I/O代价（包括本地和网络I/O），而I/O代价与数据集以及连接运算的特征参数相关，通过对二元连接的I/O代价评估可以优化多元连接执行计划．基于此，首先提出了二元连接查询的I/O代价模型；随后，对现有二元连接算法进行形式化定义和简单扩展，归纳出6种基于MapReduce连接查询算法，并通过算法白盒分析定义它们的I/O代价函数；最后，提出一种多元连接最优执行计划的选择算法，通过实验表明I/O代价模型的正确性且能够准确地反映算法的性能优劣．
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
