存储技术
基于日志结构合并(LSM)树的键值(KV)存储系统可优化随机写入性能,并提高读取性能,因此被广泛应用于电子商务、在线分析和实时通信等现代数据存储系统。日志结构合并树将变更的KV数据存在内存中,批量刷新至内存,优化了随机写入效率,但是在系统意外崩溃时会有数据丢失。为了避免内存中的数据丢失,RocksDB在更新内存之前,会将数据写入写前日志(WAL)中。但是开启同步WAL后系统的写入性能会受到较大的影响。在本文中,我们分析了利用本地文件系统保存WAL的一些缺陷,在此基础上提出了一种新的WAL机制,该机制根据WAL文件的特性直接管理原始设备(或分区),避免了无用的元数据更新,同时保证了数据顺序写入磁盘。实验结果表明,对于固态硬盘(SSD)SSD上的小KV数据,MyWAL可以将RocksDB的数据写入性能提高5到8倍。在NVMe SSD和非易失性存储器(NVM)上,MyWAL可以将数据写入性能提高10%–30%。此外,YCSB的结果表明,与SpanDB相比,写入延迟降低了50%。
作者:
张晓1,2,3,黎梦钰2,4,Michael NGULUBE1,2,陈泳豪1,2,赵一平1 单位: 1西北工业大学计算机学院,中国西安市,710072 2西北工业大学大数据存储与管理工信部重点实验室,中国西安市,710072 3西北工业大学空天地海一体化大数据应用技术国家工程实验室,中国西安市,710072 4西北工业大学软件学院,中国西安市,710072 |
编辑:黄飞
全部0条评论
快来发表一下你的评论吧 !