GPFS简介.pdf

前言 GPFS（General Parallel File System）是 IBM 公司推出的行业领先的并行分布式通 用并行集群文件系统，GPFS从 1993开始研发，1995年投入商用（最早投入使用在多媒体处 理行业，所以我们现在看到 GPFS的很多目录和命令为什么都有 MM[multimedia]两个字母， 就是根据这个背景延续下来的），其中经过了多次版本的改进和修订，到目前(2008)，GPFS 的当前版本为 3.1. GPFS 是一个共享的磁盘文件系统，集群内的所有节点(NODE)可以并行的访问所有共享 磁盘，并通过分布式的令牌管理机制和条带化技术来管理和优化各个节点的访问。 GPFS 的应用范围非常广泛，从多节点的文件共享服务到大型的高性能计算机群，都可 以看到 GPFS的优秀表现。GPFS也应用在众多的企业应用系统中，比如高可用的解决方案： HACMP，ORACLE RAC，SAP 的共享文件系统等，GPFS 在这些应用里面都表现出了出色的性能 和高可用性 什么是 GPFS GPFS（General Parallel File System）是通用并行文件系统的缩写。 GPFS是一种高性能的、共享磁盘的、分布式文件系统 高性能：GPFS可以支持 1个到上千个独立的计算机节点 可以从单个节点管理整个文件 支持 AIX，LINUX以及混合节点环境 共享磁盘：所有的磁盘可以被所有的节点同等的访问 数据和元数据对节点的访问是相同的 任何直连节点都可以对任何磁盘进行读写 分布式：数据和元数据可以被任何一个节点来处理 所有节点都不需要经由其他节点就可以直接处理数据和元数据 消除了单一节点故障 PS:GPFS在内部采用了分布式的 token的管理，通过 token manger Server的功能来统 一的对数据访问进行授权，对数据的授权可以做到数据块一级。可以保证多个节点对同一个 文件进行修改。 GPFS 集群的常见配置方案 方案一： 部分节点直接连接到 SAN 存储，而另外一部分节点并不直接连接到 SAN 存储，而是通 过 LAN的方式连接到集群中。 通过 LAN方式连接的节点被称为 NSD（network shared disk）客户端 直接通过 SAN连接到存储的节点被称为 IO Server。 1）每个 IO服务器拥有一个多个直连阵列设备 2）NSD客户端通过 GPFS协议对存储设备进行数据块级的访问 3）NSD 可以配置为非常大的集群规模，使得不需要每个节点都需要直接连接 SAN 存储 设备上，可以大大降低成本 4）NSD客户端和 IO服务器是集群里的角色，他们需要相同的 GPFS软件和 license 方案二： 在方案一的基础上，NSD的可扩展性支持用跨越多个 SAN的多个存储设备构建文件系统 GPFS可以自动判断数据访问的最佳路径 每个 IO服务器提供磁盘访问的冗余保护 方案三： 多集群挂载 GPFS 的安装 准备工作 1）安装所有的集群节点（OS，软件，补丁）和划分共享存储，配置好网络 2）确保集群中涉及到的所有的主机名都可以得到正确的解析（DNS/主机文件） 3）配置好 RSH/SSH并确保彼此之间通信正常 4）集群中的所有主机的时钟同步（以便于后期的故障处理） 5）根据客户的资源或需求确定连接模式，比如全部采用 SAN模式还是 NSD模式（仅 NSD Server通过SAN模式直接连接存储） 6）安装并行 shell软件，比如 dsh或 psh 这一步不是必须的 aix下可以通过安装 csm.dsh fileset安装 dsh(/opt/csm/bin/dsh ) 设置环境变量$WCOLL指向所有的节点名 测试 dsh，比如 dsh -v date 软件安装 在所有的 GPFS集群节点上安装 GPFS软件，GPFS软件包由如下组成： gpfs.base-3.1.0-7 gpfs.gpl-3.1.0-7 gpfs.msg.en_US-3.1.0-7 gpfs.docs-3.1.0-7 通过 installp或