支持48位寻址！华为开源文件系统EROFS跨入大模型训练

电子发烧友网综合报道 AI大模型带来算力硬件需求升级，算力芯片、HBM内存等迎来需求暴增。而在软件端，由于AI大模型的海量数据、高算力需求、分布式训练等特点，对文件系统也提出了与传统应用截然不同的要求。
 
最近，开源文件系统EROFS在即将到来的Linux 6.15内核周期中进行扩展，以处理更大规模的存储系统。此次改进旨在使EROFS更适配AI训练场景及其他大规模数据归档需求。
 
在Linux 6.15合并窗口开启（紧随v6.14内核发布之后），EROFS新增了48位寻址支持，旨在通过扩展文件系统容量上限，满足AI训练等大规模数据存档场景的需求。来自阿里巴巴的工程师高翔（在华为工作期间主导开发了EROFS）在提交的补丁系列中解释道：
 
当前32位块寻址限制了EROFS的最大卷容量（4KiB块下限为16TiB），但AI模型训练的海量数据集，需要文件系统提升每轮训练周期中随机采样性能；利用EROFS直通特性实现高效数据访问。
 
此次更新扩展了核心磁盘结构以支持48位块寻址，包括inode（索引节点）、设备槽位和inode块等结构。
 
与此同时，新版本在32字节紧凑型inode中增加了mtime字段以支持基础时间戳功能，并将超级块根NID扩展为8字节的rootnid_8b，以实现异地更新的增量构建。引入字节导向编码扩展区（byte-oriented encoded extents），允许主流压缩算法（如Zstd）沿用其现有方法，从而支持超越32位寻址限制的大型镜像及压缩数据的高效索引（尤其在压缩单元较大时）。
 
48位寻址的意义在于，将文件系统的理论最大卷容量从16TiB（32位）提升至4EiB（48位），满足PB级AI训练数据集需求；直接透传对象存储客户端时，可避免中间转换层性能损耗。
 
值得一提的是，EROFS最早是华为内部的移动端优化方案。2017年，华为内部工程师开始研究只读压缩文件系统的概念验证（POC），旨在解决传统只读文件系统（如SquashFS）的性能瓶颈，尤其是压缩效率与内存占用问题。
 
到2018年EROFS初步设计完成，并在开源社区首次亮相。其核心创新包括改进的压缩算法 和固定大小输出压缩 （Fixed-Size Output Compression），在节省存储空间的同时提升读取性能。
 
2019年，EROFS超级文件系统首次在华为P30系列手机中落地，与F2FS文件系统形成互补，EROFS负责系统分区，F2FS管理用户数据，显著提升系统启动速度和随机读取性能。同年，Linux内核5.4正式将华为EROFS超级文件系统合入主线，成为linux文件系统前端的重要内核。
 
而作为一个开源社区维护的文件系统，EROFS在2022年被Android 13 采纳为默认只读文件系统，谷歌与华为合作优化其压缩算法，进一步减少存储占用并提升I/O效率。此时EROFS已支持原生文件系统压缩，并通过Linux内核主线版本持续迭代。
 
而随着终端需求的变化，EROFS也正在围绕压缩效率、存储密度与读取性能不断迭代。此次EROFS升级标志着其从嵌入式、移动端优化，向企业级AI、大数据存储场景的拓展。结合其固有的高压缩率与低延迟读取特性，EROFS有望成为AI训练流水线中高效存储层的新选择，尤其适用于需要快速加载预处理数据集或模型参数的场景。