Lustre文件系统深入解析.docxVIP

Lustre学习总结集群存储简介:在集群里，一组独立的节点或主机可以象一个系统一样步调一致地工作。整个集群只有唯一的命名空间。厂商们也已经制造了一些软件和硬件设备，它们可以把不相干的文件系统融合成只使用一个命名空间的文件系统。用户可以访问并共享其他用户的数据，而无需考虑是什么介质或其所处的是哪台主机。集群存储系统需要解决的最基本的问题：（1）提供共享访问数据，便于集群应用程序的编写和存储的负载均衡；（2）提供高性能的存储，在I/O级和数据吞吐率方面能满足成百上千台规模的Linux集群服务器聚合访问的需求与分布式文件系统相比：数据不需要从一个文件系统拷贝或复制到另一个文件系统，通过集群系统共享应用和数据的任务执行起来要比在单独的设备上执行快得多；集群可以为文件和文件系统提供更多的空间;因为只需要管理一个文件系统，而不再是每个存储设备或主机都需要一个文件系统，管理也更容易了；如果集群内的某台服务器出现了故障，另一台服务器就可以把它的工作接手过来，故障恢复也成为了现实；用户也可以同时对位于其网络上的存储设备里的所有文件进行访问。Lustre集群文件并行系统由客户端，两个MDS，OSD设备池通过高速以太网或QWS Net多构成。其采用分布式的锁管理机制来实现并发控制，元数据和文件数据的通信链路分开管理。1 Lustre系统由来： Lustre是HP，Intel，Cluster File System公司连个美国能源部开发的Linux集群并行文件系统。它来源于卡耐基梅隆大小额的NASD项目研究工作。Lustre文件系统在2003年推出了了1.0版本。它是第一个机遇对象存储设备的、开源的并行文件系统。 Lustre是一个透明的全局文件系统，客户端可以透明地访问集群文件系统中的数据，而无需知道这些数据的存储位置。2 开发Lustre系统的目的： Luster的名字是有Linux和Cluster演化而来的，是为海量存储问题而设计的全新文件系统。它可支持10000个节点，PB级的存储量，100GB/S的传输速度，具有完美的可伸缩性，安全性和可管理性。 3 Luster的组成部分： Metadata Server(MDS)：元数据服务器存储了文件系统的基本信息，负责管理整个系统的命名空间，维护整个文件系统的目录结构、用户权限，并负责维护文件系统数据的一致性。通过MDS的文件和目录访问管理，Lustre能够控制客户端对文件系统中文件和目录的创建、删除、修改。Client可以通过MDS读取保存到MDT上的元数据。当Client读写文件时，从MDS得到文件信息，从OSS中得到数据。Client通过LNET协议和MDS/OSS通信。在Lustre中MDS可以有2个，采用Active-Standby的容错机制，当其中一个MDS不能正常工作时，另外一个后备MDS可以启动服务。 Metadata Target(MDT)：MDT存储了MDS上元数据的文件名、目录、权限和文件布局。一个文件系统只能有一个MDT，不同的MDS之间共享同一个MDT。Object Storage Servers(OSS)：对象存储服务器提供了文件I/O服务和用来处理一个或多个当地OST的网络请求。OST、MDT和Client可以同时在一个节点运行。但是典型的配置是一个MDT专用一个节点，每个OSS节点可以有两个或多个OST，一个客户端可以有大量的计算机节点。Object Storage Target(OST)：OST负责实际数据的存储，处理所有客户端和物理存储之间的交互。这种存储是基于对象的，OST将所有的对象数据放到物理存储设备上，并完成对每个对象的管理。OST和实际的物理存储设备之间通过设备驱动方式来实现交互。通过驱动程式的作用，Lustre能继承新的物理存储技术及文件系统，实现对物理存储设备的扩展。为了满足高性能计算系统的需要，Lustre针对大文件的读写进行优化，为集群系统提供了较高的I/O吞吐率。存储在OST上的文件都是普通文件，也能是复制文件。Lustre同时还将数据条块化，再把数据分配到各个存储服务器上，提供了比传统SAN的“块共享”更为灵活和可靠的共享方式。Client：客户端通过标准的POSIX接口向用户提供对文件系统的访问。对客户端而言，Client同OST进行文件数据的交互，包括文件数据的读写、对象属性的改动等；同MDS进行元数据的交互，包括目录管理、命名空间管理等。存储设备跟普通的，基于块的IDE存储设备不同，是基于对象的智能存储设备。客户端在需要访问文件系统的文件数据时，先访问MDS，获取文件相关的元数据信息，然后就直接和相关的OST通信，取得文件的实际数据。客户端通过网络读取服务器上的数据，存储服务器负责实际文件系统的读写操作以及存储设备的连接，元数据服务器