分布式独立内存简易集群搭建测试与应用.doc

分布式独立内存简易集群搭建测试与应用 李仕诚 韩菲 苏辉 摘要：新时期地球物理勘探事业的发展，对高性能计算给出了越来越高的要求。我们也在不断的寻找提高计算效率的方法；本文提出一种基于linux系统下的小型高性能计算集群的构建方案，能够进行软件共享，数据共享，有效解决大规模计算问题，提高计算速度并且降低计算成本。采用Linpack对集群浮点运算性能进行分析测试，分别与单机下浮点运算性能和刀片式服务器集群的浮点运算性能进行对比分析，得出结论。最后，将搭建好的集群在地震资料处理中得到了有效的应用。 关键字：高性能计算 计算效率 软件共享 数据共享 环境应用 引言 随着计算机的广泛应用和性能的大幅度提高，计算机处理问题的规模也越来越大。尤其在地震勘探领域中，快速处理大规模地震数据的要求与日俱增。地震勘探方法是目前使用最为广泛、解决油气勘探问题最为有效的地球物理方法。该原理是利用人工方法引起地壳震动，再用精密仪器按一定的观测方式记录爆炸后地面上各接收点的振动信息，通过分析和处理这些大量数据推断地下的地质构造。该方法收集到的数据都数以TB，海洋探测的数据量更是数以PB级别。高性能计算机若在短时间内完成对这种数据量的分析，需要具有惊人的计算能力。因此，计算机的高性能计算能力在地震勘探领域中举足轻重，提高计算机的并行处理能力和浮点运算能力势在必行。目前，单个处理器的计算性能可提升的空间越来越小，将一组高性能计算机连接起来组成具有并行结构的高性能集群，实现高效并行计算，是满足科学和工程计算问题中高性能数据处理要求的有效途径。 计算机集群的概念：多台同构或异构的计算机用某种方式连接起来，协同完成特定的任务就构成了集群系统，目前计算机集群技术按照使用目的可分为三类：高可用集群（High Availabilty Cluster）、负载均衡集群（Load Balance Cluster）、科学计算集群（High Performance Computing Cluster）。高可用集群，利用集群管理软件，当主服务器出现故障时，备份服务器能够自动接管主服务器的工作，并及时切换过去，以实现对用户的不间断服务；负载均衡集群，负载压力根据某种算法合理分配到集群中的每一台计算机上，以减轻主服务器的压力，降低对主服务器的硬件和软件要求。科学计算集群，即充分利用集群中的每一台计算机的资源，实现复杂运算的并行处理，通常用于科学计算领域。集群所用计算机可以是工作站，普通PC机、刀片式服务器或机架式服务器。针对地震资料处理的高吞吐量、高密度数据通信等特点，本文为解决大型地震数据处理问题，选用7台linuxPC机，构建小型高性能计算集群。 一、基于linux简易集群搭建 集群是由一组独立的计算机系统构成的一个松耦合的多处理器系统。他以网络技术将一组工作站或PC机连接起来，计算机之间高度紧密地协同工作。像一个单独集成的计算资源运行一组共用的应用程序，为用户和应用程序提供类似单机系统的功能。 1、系统的构建 （1）节点 节点分为管理节点与计算节点。集群中的每台计算机都是集群节点（node）。管理节点是高性能集群的入口，作为集群中心的“核心”领导者，控制其他计算机，管理和监控各个节点的系统状态和网络状态，为其他计算机分配计算任务，调度负载，安装计算节点所需软件，一般称为集群的主节点。 计算节点是整个集群系统的重要组成部分，执行并行计算任务。单个计算节点CPU主频越高，内存越大，总线带宽越高，对计算效率的提高越有利。所以在选择硬件的架构方式时，硬件的参数也考虑到其中。 （2）存储节点 存储节点也称I/O节点，连接到外部磁盘阵列,形成网络存储，存储大量地震数据。存储基本模式分有NAS(Network Attached Storage)，SUN(Storage Area Network and SAN Protocols)； NAS：被定义为一种专用数据存储服务器，磁盘阵列，和内嵌系统软件，可提供跨平台文件共享功能，并且方便配置，有效降低总拥有成本，保护不必要的存储投资。架构方式如图1. SAN：存储区域网络，是一种高速网络。提供在计算机与存储系统之间的数据传输。当前常见的可使用SAN技术，如IBM的光纤存储，或者说是一种更新的光纤信道技术。SCSI和ISCSI在存储区域网络中也运用高速以太网协议，目前是两种广泛的存储区域网络协议。架构方式如图2，图2中蓝色线表示存储使用光纤网络技术连接。 图（1）NAS网络存储基本架构 图（2）NAS网络存储基本架构 （3）节点间通信 集群中计算节点需要通过远程通信协议来完成任务的接受和执行，ssh和rsh是目前最为流行的两种远程通信协议。本集群建立节点无密码ssh访问实现节点间通信技术，为的是让节点与节点之间是更高效的更快速紧密的进行通讯。