面向海量数据存储的Erasure-Code分布式文件系统I/O优化方法

随着海量数据的快速膨胀,机群文件系统的存储方式正在逐步从复本向Erasure Code过渡。Erasure Code存储能够以更低的存储空开销提供更高的可靠性。然而,由于Erasure Code存储需要通过编码生成编码数据,在存储原始数据和编码数据过程中更容易产生磁盘争用和不均衡负载,从而影响整个存储系统的I/O性能;同时,Erasure Code存储在写回编码数据时,数据一致性和数据缓存之间存在冲突,传统处理数据的无缓存方式和全缓存方式在机群文件系统中都存在很大的局限性。针对这两个问题,中科院计算技术研究所的研究人员提出了一种包括均衡负载的数据放置策略和编码缓存的一致性维护策略的Erasure Code机群文件系统I/O优化方法。通过在我们开发的Erasure Code分布式文件系统ECFS的实验测试表明,使用这种优化方法后机群文件系统的聚合带宽能够提高95.53%。该研究刊登在20135月的《计算机研究与发展》杂志上。

参考文献:

面向海量数据存储的Erasure-Code分布式文件系统I/O优化方法.严林计算机工程与科学.2013.05

作者简介:

马捷:中科院计算技术研究所研究员。目前的研究工作围绕曙光5000高性能计算机研究百万亿次、千万亿次高性能计算机关键技术。