并行程序编译与运行（一）.pdfVIP

并行程序编译与运行（一） 2008 年 12 月 1. 用户登陆环境 1.1 用户的家目录 与很多 unix 系统一样，linux 系统为每个用户提供一个自己“家目录”，在这 个目录下用户可以自由的创建、修改、删除文件和子目录，但是对于这个目录以 外的其他用户家目录或系统目录，只能根据系统设定享有部分权限或者完全不可 见。 当用户登陆集群后，所处的当前目录就是用户的家目录，路径为“/home/users/ 用户名” 1.2 用户所属于的组 曙光集群提供的是一个多用户的环境，根据不同用户的特点与级别，用户都 被分配到几个已有的组中。用户可以是用 id 命令查看用户所属于的组名，这个 分组将作业管理系统中被使用到。 [dolphin@node21 ~]$ id dolphin uid=509(dolphin) gid=100(users) groups=100(users) [dolphin@node21 ~]$ 如上面示例，dolphin 账户所属的组 gid 为 users 。 2. 基本并行程序的编译与运行 2.1 概述 MPI 并行程序是一种最常用的并行编程模式，本文以数值积分求 PI 的程序 为例，向用户展示如何编译与运行一个简单的并行程序。 初次编译并行程序一般使用 gcc 版本的 mvapich 即可，程序源码已经在集群 中存好，使用时拷贝副本即可。本例只是希望用户对 MPI 程序的编译与 TORQUE 任务的提交、运行有初步的认识。对于经验丰富的高级用户，编译部分可以一掠 而过，但是要注意作业提交，TORQUE 队列选择部分，其中包含与本集群相关 的一些配置细节。 mvapich 同时支持 C 与 fortran 程序，我们示例中便以 c 和 f77 编译器为例， 展示该过程。 由于两个源文件编译后输出的可执行文件都被命名为 cpi，所以请一次只编 译一个文件，提交任务。若想尝试另外一个文件则重新完整的做一遍。实际上 C 程序与 fortran 程序只是在编译阶段有所区别，生成可执行程序以后，运行的方 法都是一致的。 程序编译成功后，用户需要将计算任务提交给TORQUE系统，并由TORQUE 系统分发到计算节点执行。 注意：所有演示都是以 dolphin 账户为例，用户在测试中需要替换为自己所 在的目录。 2.2 源文件的复制 建立一个新目录 examcpi,然后将 cp /opt/mvapich/OPENIB/mpi/examples/cpi.c 复制到 /home/users/dolphin/examcpi/中,以下为 C 程序对应命令： [dolphin@node21 dolphin]$ pwd /home/users/dolphin [dolphin@node21 dolphin]$ mkdir examcpi [dolphin@node21 dolphin]$ cd examcpi [dolphin@node21 examcpi]$ cp \ /cluster/soft/apps/mpi/mvapich/v1.0/gcc.pgf90_x64examples/cpi.c \ /home/users/dolphin/examcpi/ [dolphin@node21 examcpi]$ 2.3 程序的编译 初次编译 C 程序可以使用 gcc 编译的 mvapich，以下为 C 程序对应命令： [dolphin@node21 examcpi]$ /opt/mvapich/OPENIB/mpi/bin/mpicc -o cpi cpi.c [dolphin@node21 examcpi]$ ls cpi cpi [dolphin@node21 examcpi]$ 以上命令中的-o cpi 表示编译成功后输出文件名为 cpi 。 2.4 TORQUE 系统介绍 曙光集群是一个多任务、多用户的集群系统，为了满足与协调各个用户对运 算资源的要求，曙光集群采用 TORQUE 作为其资源分配与作业调度系统(调度器 采用功能强大的 Maui)。 TORQUE 系统可以根据管理员给用户划定的不同权力级别，将不同数量的 计算资源分配给不同的用户，级别高的用户将会得到更多的计算资源和相对较快 的任务响应时间。 用户可以通过 qsub 命令将一个 Torque 脚本提交给 TORQUE 系统，这个脚 本中说明了该计算任务需要的计算资源数量，比如占用节点数量、每个节点 cpu 数量、允许运行最大时间等。同时脚本中还可以规定任务名称，使用的队列等信 息。队列是 TORQUE 实现权限控制的主要