资料下载
×
基于负载均衡的多源流数据实时存储系统
消耗积分:0 |
格式:rar |
大小:0.90 MB |
2017-11-21
分享资料个
物联网感知流数据多以时序数据为主，具有数据量大、连续到达、多来源等特点。现有的基于HBase的交通流数据存储系统在数据写入并发量大时，仍然存在存储效率低与系统可用性不高的问题。针对该问题，设计并实现了基于负载均衡的多源流数据实时存储系统。该系统将数据代理扩展为集群架构，提出了一种基于负载均衡的任务调度算法，实现了任务与数据代理之间的按序匹配，使数据代理集群负载均衡地处理任务，实现数据并行存储到HBase数据库中。实验对比结果表明：该系统使各数据代理的数据分配比例维持在0. 3～0.4，同时以约1.5倍于单数据代理的速度将数据写入HBase数据库。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
