资料下载
×
基于大数据的RTL架构
消耗积分:0 |
格式:rar |
大小:0.71 MB |
2017-11-07
分享资料个
针对传统抽取、转换、装载（ETL）架构在数据处理过程控制方面和数据产品开发效率方面的不足，提出一种基于大数据处理的ETL架构。通过分析主流的ETL工具-Datastage的工作原理和ETL过程的特点，设计ETL元数据描述模块、ETL任务描述模块、配置解析模块和数据任务调度模块等。使用该框架处理数据任务时，以配置文件的方式开发，使工作效率得到了极大的提升。基于该设计思想开发一款基于大数据处理的ETL工具，在对数据处理过程（E、T、L）的控制方面得到了改进，同时也可以使数据开发人员从大量重复的操作中解脱出来，将更多的精力放在数据的逻辑处理方面。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
评论(0)
发评论
- 相关下载
- 相关文章
