×

虚拟化模型驱动的分布式数据湖架构设计

消耗积分:0 | 格式:rar | 大小:7.04 MB | 2021-05-11

分享资料个

  提出了适应工商联业务服务对象分布广、类型多、不确定性强等特点的虚拟化模型驱动的分布式数据湖构建方法,给岀了分布式数据湖的整体架构设计,定乂了适应分散、碎片化欻据收集场景的欻据虚拟仳模型和模型驱动下的数据库间协作流程;通过枃建虛拟化的全局欻据索引网络,实现边缘欻据库节点、二级区堿数据库节点和中央数据库节点的库间路由和协调一致,形成去EL化和去中心化的辐射型分布式数据湖,缓解了集中式数据湖构建方法所存在的欻据更新时效性差、存储嚅需求量大、频繁搬运大量欻据耗费大量带宽、经济性差等诸多问题。对比测算表明,所提方法既满足了工商联分析业务对大数据的需求,又很好满足了实时处理业务对鲜活数据的需要,减少了数据搬运成本,提升了经济性。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !