Lustre文件系统.ppt

国防科技大学 主要内容 背景 Lustre体系结构及技术分析 背景 (网络存储技术) 直接附加存储 (DAS) 网络附加存储(NAS) 存储区域网(SAN) 基于对象的存储（ OBD） 基于对象存储文件系统Lustre结构 背景—基于对象存储体系结构的特点 网络带宽,IO吞吐量,文件系统容量以及处理能力是随着存储节点的增加而同步线性增长,因而具有很好的性能和扩展性 ，存储节点可扩展、存储对象数可扩展性、存储对象空间也具有可扩展性。 可以实现大规模的海量数据访问的高度并行 一般采用了文件数据与元数据分离存储的机制, 通过条带化技术将传统文件的数据分解存储到存储对象中；文件元数据则保存在元数据对象中，并具有一个全局唯一的对象标识以及一些文件属性信息 背景—采用对象存储概念设计的分布式集群文件系统 Storage Tank OBFS Panasas Luster 类似的还有 BrainStor OBSS 比较成功的, 商业化的: Storage Tank，Lustre，Panasas 背景— Lustre文件系统 作为开源的面向下一代存储的基于对象的分布式文件系统的开创者，目前已经在集群存储尤其是大规模高性能并行计算领域取得了巨大的成功。 由Cluster File Systems公司开发的一个开源的、高性能的文件系统 源于卡耐基梅隆大学的Coda项目研究工作 Lustre消除了传统网络文件系统(AFS、NFS）在可扩展性、可用性和性能上的问题 背景-- Lustre文件系统 针对大文件读写进行优化，提供高性能的I/O； 元数据独立存储； 服务和网络失效的快速恢复； 基于意图的分布式锁管理 基于对象存储，使存储更具智能化，可以实现基于对象一级的数据保护技术； 系统可快速配置 体系结构--Lustre文件系统I/O结构 体系结构--Lustre文件系统I/O结构 文件系统组成: 客户端(CFS, Client File System) 对象存储服务器（OST，Object Storage Target） 元数据服务器（MDS，MetaData Server） 一个高度模块化的系统 三个子系统可以分别运行在不同的计算机节点上,也可以多个子系统运行在同一个节点上 体系结构 - 总体模块结构图 体系结构—— Lustre子系统交互图 体系结构—— Lustre子系统交互图 File open write Lustre文件系统数据分布布局 由于Lustre采用了数据和元数据分离的基于对象存储的体系结构，下面将从这两个方面分别讨论Lustre数据的分布布局： 文件数据 文件元数据 文件数据布局策略 – (本地文件系统) 文件数据布局策略 – (Lustre文件系统) 文件数据布局策略 – Lustre Network Stripping Network Stripping – data layout JOIN File JOIN File (cont’) JOIN File (cont’) Lustre元数据服务器集群(Cluster Metadata, CMD) 元数据服务器功能及特点： 存储和管理文件元数据； 控制对文件元数据的访问以及创建、删除、修改等操作 当客户端从元数据服务器获得文件元数据及其属性信息后，就可以直接和对象数据存储节点交互访问文件数据 ； 控制流与数据流分离的传输方法，可以有效的分布IO负载，减轻对存储服务器CPU和内存等计算资源的消耗，大大提高了系统的I/O性能 Lustre元数据服务器集群(Cluster Metadata, CMD) 单一元数据服务器局限： 整个系统的集中控制点，如果发生故障，将会导致整个系统不可用 ； 随着客户端和对象存储节点的增加，单个元数据服务器很可能成为整个系统的性能瓶颈，导致系统响应时间变长，降低系统的吞吐率。 CMD － 元数据分配方法 多元数据服务器构建方法主要有两类： 目录子树分区法 ； 纯哈希法 ； CMD --元数据分配方法 (目录分区法) 将命名空间划分为不同的目录子树 每一个目录子树对应的元数据由同一个元数据服务器进行管理 一个元数据服务器也可以管理多个目录子树 每个目录子树就是一个可安装的小文件系统 CMD --元数据分配方法 --目录分区法 优点 静态的、由系统管理员决定怎样分割命名空间 不需要与其他节点通讯就能处理元数据请求，具有很强的独立性 保留了文件系统的层次结构，可以利用客户端的预取技术和缓存机制，提高元数据服务的处理效率 CMD --元数据分配方法 --目录分区法 缺点 增加元数据服