现有文件系统元数据管理的潜在缺陷

描述

在HPC计算和存储业务中,针对文件系统的IO请求中,一半以上是元数据访问。元数据访问特点:

I/O大小较小(元数据大小通常只有几百Byte),使得元数据服务器CPU的负载重

许多元数据操作包含多次子操作,例如打开文件需要进行多次的路径解析,使得元数据操作会触发多次网络I/O

当前,主流并行文件系统大多采用分布式解决方案中,Lustre、CephFS采用子树划分+目录条带化;BeeGFS根据名称的Hash值分布到多节点;GlusterFS采用无中心架构;IndexFS的元数据以KV存储,通过GIGA+算法分布到多节点。

现有文件系统元数据管理的潜在缺陷:1)POSIX的语义限制了元数据性能提升,2)数据结构不利于并发处理,3)元数据性能提升面临的机遇,如IO设备跨越式发展(NVMe SSD充裕的IOPS和带宽,多通道并发能力)。

针对文件系统元数据一直是文件系统的瓶颈问题,单点元数据性能仍然存在很大的提升空间,如没有充分发挥IO效能,没有充分发挥计算效能等,本文提出改进数据结构,降低IO之间的依赖,发挥并行IO能力(降低目录路径解析延迟,降低大目录访问延迟,降低数据块访问延迟)改进算法,发挥计算部件的并行计算能力等措施。

存储

存储

存储

存储

存储

存储

存储

存储

存储

存储

存储

存储

存储

存储

存储

存储

存储

存储

存储

存储

存储

针对文件系统元数据一直是文件系统的瓶颈问题,单点元数据性能仍然存在很大的提升空间,如没有充分发挥IO效能,没有充分发挥计算效能等,本文提出改进数据结构,降低IO之间的依赖,发挥并行IO能力(降低目录路径解析延迟,降低大目录访问延迟,降低数据块访问延迟)改进算法,发挥计算部件的并行计算能力等措施。  

      审核编辑:彭静
打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分