资料下载
×
如何通过YARN设计分布式资源动态调度协同分配系统
消耗积分:0 |
格式:pdf |
大小:1.55 MB |
2021-03-09
分享资料个
Storm on yarn是目前主流的分布式资源调度框架，但其存在需要人工干预和无法根据资源可用性实时调整系统资源的不足。根据流数据处理的实时延迟计算系统负载情况，在 Storm平台上基于YARN设计分布式资源调度和协同分配系统。建立包含系统层和任务层的双层调度模型，系统层通过对流数据处理负载的实时监测进行资源分配预测，任务层利用 Zookeeper和YARN对集群资源的高效管理能力进行动态资源管理。实验结果表明，该系统可以实时调整集群资源分布，有效减小系统延迟。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
