基于输入输出堆栈的键值存储系统优化方案

存储技术

606人已加入

描述

 

 

 

基于日志结构合并(LSM)树的键值(KV)存储系统可优化随机写入性能,并提高读取性能,因此被广泛应用于电子商务、在线分析和实时通信等现代数据存储系统。日志结构合并树将变更的KV数据存在内存中,批量刷新至内存,优化了随机写入效率,但是在系统意外崩溃时会有数据丢失。为了避免内存中的数据丢失,RocksDB在更新内存之前,会将数据写入写前日志(WAL)中。但是开启同步WAL后系统的写入性能会受到较大的影响。在本文中,我们分析了利用本地文件系统保存WAL的一些缺陷,在此基础上提出了一种新的WAL机制,该机制根据WAL文件的特性直接管理原始设备(或分区),避免了无用的元数据更新,同时保证了数据顺序写入磁盘。实验结果表明,对于固态硬盘(SSD)SSD上的小KV数据,MyWAL可以将RocksDB的数据写入性能提高5到8倍。在NVMe SSD和非易失性存储器(NVM)上,MyWAL可以将数据写入性能提高10%–30%。此外,YCSB的结果表明,与SpanDB相比,写入延迟降低了50%。  
   作者:

张晓1,2,3,黎梦钰2,4,Michael NGULUBE1,2,陈泳豪1,2,赵一平1  
      单位:
1西北工业大学计算机学院,中国西安市,710072
2西北工业大学大数据存储与管理工信部重点实验室,中国西安市,710072
3西北工业大学空天地海一体化大数据应用技术国家工程实验室,中国西安市,710072
4西北工业大学软件学院,中国西安市,710072
 
本文精要导读:



非易失性存储器

非易失性存储器

非易失性存储器

非易失性存储器

非易失性存储器

非易失性存储器

非易失性存储器

非易失性存储器

非易失性存储器

非易失性存储器

非易失性存储器

非易失性存储器

非易失性存储器

非易失性存储器

非易失性存储器

编辑:黄飞

 

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分