资料下载
×
面向智慧管养的大数据融合方法
消耗积分:2 |
格式:rar |
大小:1.36 MB |
2017-11-27
分享资料个
针对运维大数据维度高、形式多样化和变化迅速等特性，为提高数据融合效率以及平台的数据统计和决策分析性能，降低抽取一转换一加载（ ETL）执行时间开销和数据中心负担，面向智慧管养需求提出一种多层次任务调度（ MTS） ETL框架（MTS-ETL）。首先，将数据仓库分为数据临时区、数据仓储区、数据分类区和数据分析区，并根据所分区域将完整的ETL过程划分为4个层次的ETL任务调度环节，同时设计了多频率ETL运行调度以及顺序和非顺序两种ETL工作模式；接着，基于MTS-ETL框架的非顺序工作模式进行数据融合的概念建模、逻辑建模和物理建模；最后，利用Pentaho Data Integration设计ETL转换模块和工作模块以实现数据融合方法。在交通流量数据融合实验中，该方法融合136754条数据的时间仅为28.4 s；在千量级的数据融合实验中比传统ETL方法的总平均执行时间降低了6. 51%；报表分析结果表明其在融合400万条数据时依然能保证ETL过程的可靠性。所提方法能够有效融合运维大数据，提高平台统计分析性能，并维持ETL执行时间开销在较低水平。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
