华东师范大学超算中心MPI 使用情况说明 - 华东师范大学计算中心网站.PDF

华东师范大学超算中心 MPI 使用情况说明 华东师大超算中心MPI 使用情况说明 曙光公司为华东师大提供了丰富的MPI 通讯库。主要有如下几种： 1. INTEL MPI 是INTEL 公司提供的高性能MPI ，同时支持Infiniband 、TCP 两种网络，安 装路径为/data/soft/compiler/mpi/impi/3.2.2.006 2. HP-MPI 目前是Platform 旗下的MPI 产品，版本2.2.7 ，环境变量设定参考 /data/share/env_hpmpi ； 3. MVAPICH2 是MPI 接口在Infiniband 网路上的MPI2 实现版本，在Infiniband 上具有较高的性能。 安装路径为 /data/soft/compiler/mpi/mvapich2/1.4rc2/icc.ifort/ 4. OpenMPI 是MPI2 实现的高性能的MPI ，可以运行于任何网络上。安装路径为 /data/soft/compiler/mpi/openmpi/1.3.3/gcc.ifort/ 采用gcc 4.1.2 和ifort 9.1.041 编译 /data/soft/compiler/mpi/openmpi/1.3.3/gcc.pgf90/ 采用gcc 4.1.2 和pgf90 9.0 编译 /data/soft/compiler/mpi/openmpi/1.3.3/icc.ifort/ 采用icc 11.0 和ifort 11.0 编译 下面将以cpi 为例，介绍不同的MPI 利用作业调度系统运行的方法。 5. 作业调度系统上MPI 使用举例 5.1 INTEL MPI 环境变量设定为： # # for impi # . /data/soft/compiler/intel/Compiler/11.1/056/bin/iccvars.sh intel64 . /data/soft/compiler/intel/Compiler/11.1/056/bin/ifortvars.sh intel64 . /data/soft/compiler/mpi/impi/3.2.2.006/bin64/mpivars.sh 测试脚本为： dolphin@CLOUD@ECNU:~/work/mpi/impi cat 1.job.impi #!/bin/bash -x #PBS -N mycpi #PBS -l nodes=2:ppn=8 #PBS -l walltime=00:08:00 #PBS -j oe #PBS -q debug # #define variables # n_proc=$(cat $PBS_NODEFILE | wc -l) # #running jobs # cd $PBS_O_WORKDIR # # Setup the MPI topology # time -p /data/soft/compiler/mpi/impi/3.2.2.006/bin64/mpirun --rsh=ssh -env I_MPI_DEVICE rdma:OpenIB-cma -np ${n_proc} ./cpi exit 0 5.2 HP MPI 环境变量设定为： dolphin@CLOUD@ECNU:~/work/mpi/impi cat /data/share/env_hpmpi #!/bin/bash # #for hpmpi # export MPI_CC=pgcc export MPI_F77=pgf77 export MPI_F90=pgf90 export MPI_CXX=pgCC MPI_ROOT=/data/soft/compiler/mpi/hpmpi PATH=${MPI_ROOT}/bin:$PATH MANPATH=${MPI_ROOT}/share/man:$MANPATH LD_LIBRARY_PATH=${MPI_ROOT