高性能集群作业调度系统.pptVIP

高性能集群作业调度系统 曙光信息产业股份有限公司 提纲 作业调度系统概述 PBS作业调度系统 Maui调度器 曙光Gridview作业调度中间件 QA 1. 1 集群使用中存在的问题 节点多 用户多 任务多 系统资源整合 异构资源，软硬件资源的整合 任务综合管理 用户提交的任务的统一安排 用户权限的管理 对用户进行各类权限控制 1.2 作业调度系统的功能 资源管理器： 管理集群的软硬件资源及认证信息等 队列管理器： 管理当前所有已提交但还未完成的作业 调度器： 为作业分配资源 1.3 作业调度系统的组成 作业调度系统的结构 1.3 作业调度系统的组成 1.4 作业调度系统的发展历史 提纲 作业调度系统概述 PBS作业调度系统 Maui调度器 曙光Gridview作业调度中间件 QA PBS（Portable Batch System）, 最初由NASA的Ames研究中心开发，设计为一个能满足异构计算网络需要的软件包。它力求提供对批处理的初始化和调度执行的控制，允许作业在不同主机间的路由。 PBS的开源版本为OpenPBS，目前已经停止开发。 PBS的商业版为PBS Pro，由Altair公司开发和维护。 TORQUE( Tera-scale Open-source Resource and Queue manager ）为 OpenPBS的后续开源版本，修正了OpenPBS的很多bug，功能和可扩展性都有很大提高。 2.1 PBS作业调度系统 服务器: pbs_server 调度器: pbs_sched 执行器: pbs_mom 2.2 PBS的组成 解压源文件包 tar zxvf torque-2.5.12.tar.gz 编译设置 cd torque-2.5.12 ./configure --prefix= /usr/local \ --with-server-home= /var/spool/torque \ --enable-syslog \ --with-scp \ --enable-docs 默认情况下，TORQUE将可执行文件安装在/usr/local/bin和/usr/local/sbin下。其余的配置文件和运行时环境将安装在/var/spool/torque下 编译和安装 make make install 2.3 PBS的安装（Torque Server端） 节点操作系统相同，可以用如下SHELL脚本在计算节点（torque客户端）上安装 #在管理节点上 make packages #!/bin/bash for i in `seq 1 20`; do echo =====node$i===== ssh node$i /public/sourcecode/torque-2.5.12/ \ torque-package-mom-linux-*.sh --install Done 2.3 PBS的安装（Torque Client端） 以root作为torque的管理员账号创建作业队列 在torque的安装源文件根目录中，执行 ./torque.setup root Server配置目录 /var/spool/torque/server_priv/ 计算节点列表及属性：/var/spool/torque/server_priv/nodes node2 np=12 amd chem node3 np=12 amd chem node4 np=8 intel chem node5 np=8 intel chem node6 np=4 intel bio gpu node7 np=4 intel bio gpu 2.3 PBS Server配置 Server的系统启动脚本 /etc/init.d/pbs_server Scheduler系统启动脚本 /etc/init.d/pbs_sched Mom系统启动脚本 /etc/init.d/pbs_mom Torque服务端 chkconfig pbs_server on chkconfig pbs_sched on service pbs_server start service pbs_sched s