内存数据库中的自动优化是为了解决什么问题?

电子说

1.3w人已加入

描述

入库过程后的自动优化,是为了解决传统分布式数据库甚至Hadoop平台也非常常见的:在用户使用一段时间后,发现如果没有对数据库的存储进行人工定时维护,则会引起性能大幅下降的问题。

以柏睿数据的全内存分布式数据库RapidsDB来具体解释,RapidsDB的3个自动优化手段,就是解决核心的3个性能影响因素:

第一个是,无论做增删改操作,数据库都会自动对相关的列存行段中的数据自动重新排序,保证优秀的查询性能。第二个是当列存行段内重新排序完成后,其外的行段组会重新做排序组织,进一步使数据有序,二次优化性能。第三个是经过上述2点的优化,有序数据使压缩率得到提升,数据文件也得到合并,数据文件个数同时也会减少。IO读写性能可以在整个使用过程中,一直保存在极高的状态中。

目前知道的是,这个全内存分布式数据库RapidsDB已经在国有某大行普惠金融项目应用中运行超过10个月,产品自动优化证明了它的能力和价值。中间经历过几次10TB级的数据加载,每天10GB级的数据新增和更新,以及定时的滚动式删除。过程中,技术团队无需对数据库做任何优化干预,相同场景的数据操作没有任何性能下降的迹象。

审核编辑 黄昊宇

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分