GlusterFS分布式集群文件系统配置及测试文档.doc

GlusterFS分布式集群文件系统配置及测试文档 Page PAGE 14 Of NUMPAGES 14 GlusterFS分布式集群文件系统配置及测试文档 版本历史 Revision Author(s) Date Summary of activity 1.0 罗辉 2009-6-1 创建本文档 参考文档 [1] http:// [2] /?p=8 前言 Glusterfs是一个具有可以扩展到几个PB数量级的分布式集群文件系统。它可以把多个不同类型的存储块通过Infiniband RDMA或者TCP/IP汇聚成一个大的并行网络文件系统。 考虑到公司图片服务器后期的升级，我们对Glusterfs进行了比较详细的技术测试。 测试环境 我们采用八台老的至强服务器组成了测试环境，配置为内存1-2G不等，每台有两块以上的73G SCSI硬盘。 同时每服务器配有两块网卡，连接至两个100M以太网交换机上。192.168.1.x段连接的是cisco 2950，另一个段是一个d-link交换机，服务器间的传输主要是通过cisco 2950，以保证网络的稳定性。 IP地址分别为:1~8 及 1~192.168.190~18。 所有服务器的操作系统都是Centos linux 5.3，安装DAG RPM Repository的更新包。DAG RPM Repository下载页面为： /rpm/packages/rpmforge-release/。 安装方式： # wget /rpm/packages/rpmforge-release/rpmforge-release-0.3.6-1.el5.rf.i386.rpm # rpm –ivh rpmforge-release-0.3.6-1.el5.rf.i386.rpm GlusterFS的安装 服务器端安装 我们通过rpm编译方式来安装GlusterFS，因为做为群集文件系统，可能需要在至少10台以上的服务器上安装GlusterFS。每台去源码编译安装太费功夫，缺乏效率。在一台编译为rpm包，再复制到其它的服务器上安装是最好的选择。 GlusterFS需要fuse支持库，需先安装: # yum -y install fuse fuse-devel httpd-devel libibverbs-devel 下载GlusterFS源码编译rpm包。 # wget /pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.0.tar.gz # tar -xvzf glusterfs-2.0.0.tar.gz # cp glusterfs-2.0.0.tar.gz /usr/src/redhat/SOURCES/ # rpmbuild -bb glusterfs-2.0.0/glusterfs.spec # cp /usr/src/redhat/RPMS/i386/glusterfs* . # rm glusterfs-debuginfo-2.0.0-1.i386.rpm # rpm -ivh glusterfs-*.rpm 安装完成，并把编译好的rpm包复制到其它服务器上安装。 客户端安装 客户端和服务器有一点点不同，特别需要注意的是在客户端这边，不但需要fuse库，并且需要一个fuse内核模块。好在DAG RPM Repository内已有用DKMS方式编译好的内核模块包，我们直接安装便可。 DKMS(Dynamic Kernel Module Support)是dell发起的一个项目，目的是希望能在不编译内核的情况下，动态的更新内核模块，最重要的是，通过DKMS方式编译的内核模块，由于是由DKMS管理的，在内核升级后，无需重新编译，仍旧可用。这种方式可大大方便以后的内核更新。 GlusterFS可直接用上面rpm编译后的包安装: # yum -y install dkms dkms-fuse fuse fuse-devel httpd-devel libibverbs-devel # rpm -ivh glusterfs-*.rpm GlusterFS的典型架构图 GlusterFS常用translators(中继) storage/posix type storage/posix storage/posix的作用是指定一个本地目录给GlusterFS内的一个卷使用。 配置例子：