NUIST HPC使用讲座ppt课件.pptVIP

NUIST HPC使用讲座 —— 作业提交 刘建宇 2015-05-05 ！！！声明！！！ 这里讨论的用户环境设置是基于目前（2014年）的NUIST HPC的配置上进行的 相关的用法、设置方式等有一定的普遍性，也有本地局限性 这里讨论的用法、设置方式，在不同的系统及配置下可能不适用 这里讨论的用法、设置方式，可能有不全面或不足之处 仅供参考，谨慎使用 3/Public/submit_job.pdf 仅校内可访问 PBS作业脚本 PBS作业脚本 含有PBS指令的脚本 PBS指令 用于申请资源、设置作业属性等 放在注释行的位置，使用#PBS作为前缀 #PBS [option] 除-l和-W选项外，其他选项后如果有多个指令，只有最后一个有效 PBS基本指令 #PBS -P project_no 必需设置，项目号 #PBS -q queue 必须设置，队列名 #PBS -l nodes=N:ppn=M #PBS -l select=N:ncpus=M:mpiprocs=P 必须设置， N:节点数, M:每个节点核数,P:MPI任务数/节点 #PBS -N jobname　 可选设置，作业名 #PBS -S /bin/bash 可选设置，指定PBS的Shell为bash #PBS -l walltime=hh:nn:mm 可选设置，墙钟限制，不同队列，墙钟限制不一样， PBS基本指令 #PBS -M me@eartch 可选设置，作业报告发送电子邮件地址 #PBS -m bea 可选设置，作业报告发送状态 b – 开始，e – 结束， a – 中止 #PBS -V 可选设置，复制用户环境变量 #PBS -o jobname.out 可选设置，标准输出输出文件 #PBS -e jobname.err 可选设置，标准错误输出文件 # PBS -j oe 可选设置，合并标准输出与标准错误 注意事项 注释掉PBS指令 在PBS指令前再加一个# ##PBS -l node=2:ppn=8 PBS指令后不能跟有注释内容 #PBS -l node=2:ppn=8 #2个节点，8个MPI任务/节点 #PBS -l node=2:ppn=8 PBS指令中不能直接使用变量替换 #PBS -l node=$N:ppn=$M PBS作业脚本中不能含有不可见的ASCII字符 ASCII码为0 ~ 31的字符 ASCII码为126以上字符 注意事项 PBS作业脚本中不能有DOS格式的行终结符（CR/LF） 通常在下面的情况中会包含有DOS格式的行终结符 在Windows下编辑的文本文件 在FTP上传时使用ASCII方式上传的文本文件 转换CR/LF的方法 dos2unix job_script tr -d \r job_script job_script.new 注意事项 -l nodes=n:ppn=p为旧格式 兼容性好 对作业的控制有限 -l select=n:ncpus=m:mpiprocs=p为新格式 只适用于较新版本的PBS 可以对作业做更多的控制 具体能做的控制依赖于PBS服务的设置 计算节点没有开启超线程 每个节点申请核数最好不要超过12个 ppn、ncpus、 mpiprocs的设置 注意事项 对内存需求大的任务，在申请资源时可采用增加节点数，降低每个节点使用核数的方式来避免在单个节点上内存不足的问题，例如 单个节点内存为24G，12个核 总共需要使用168个核 每个MPI任务需要使用4G nodes=42:ppn=4 在单个节点上的内存使用一般不要超过系统物理内存的90% 为避免在属性为共享的节点上出现多个用户的任务争用内存互相干扰的情况，最好在申请资源时把结点设置为独占方式（机时统计将按节点算） #PBS -l select=42:ncpus=4:mpiprocs=4 #PBS -l place=scatter:excl 如果希望节省资源而申请共享属性的节点，最好在申请时加上对内存的数量的申请，从而避免争夺内存的情况（机时统计将实际使用核数来算） #PBS -l select=42:ncpus=4:mpiprocs=4:mem=16gb #PBS -l place=scatter:free Hybrid作业 MPMD(multiple program, multiple data)作业 OpenMPI #!/bin/bash #PBS -S /bin/bash #PBS -N HelloWorld #PBS -P P123456789 #PBS -q Regular #PBS -l nodes=2:ppn=12 #PBS -l walltime=00:05:00 cd