作业调度systemCondor.ppt

作业调度系统——Condor Condor的简介以及利用脚本提交作业 Introduction Condor是一个用来管理大强度计算任务的专用批处理系统。像大多数批处理系统一样，Condor提供了队列机制，时序安排策略，优先级方案，以及资源分类。用户把他们的计算任务提交给Condor，而Condor会把这些任务放入一个队列，运行它们，然后向用户通报结果。 Introduction 然而不同于传统的批量处理系统，Condor还被设计成能够有效利用非专用机来运行任务。通过把计算任务交付给未被使用的机器（没有键盘动作，没有系统负载，没有正在工作的telnet用户，等等）来运行，Condor能有效利用机群中的空闲机器。这一点很重要，因为大多数时候一个机构里办公桌上所有的非专用台式工作站所拥有的总体运算能力远远大于一台专用中央服务器的计算能力。 使用ClassAd创建匹配 在学习如何提交一个任务之前，先要了解Condor究竟如何分配资源。理解Condor在提交的任务与机器间建立匹配的独特架构是掌握大多数Condor调度算法的关键。 Condor通过扮演ClassAd中间人的方式来简化任务提交。Condor的ClassAd类似于报纸上的分类广告专栏。卖家有针对性地宣传所售商品，希望打动某位买家。而买家也可以明确的申明自己希望购买的物品。买卖双方都会列出各自需要满足的条件。 使用ClassAd创建匹配 一个Condor机群中的所有机器都要申明各自的性能，比如可用的RAM内存，CPU类型和速度，虚拟内存大小，当前系统平均负载，还有其它静态或动态特性。机器的ClassAd还会申明在什么条件下才愿意运行Condor任务以及优先运行什么类型的任务。这些方针属性都能通过相关的术语和参数加以表述，由此所有机器拥有者都以一种优雅的方式将自己的机器纳入到整个Condor机群之中。比如你可以申明自己的机器只打算在晚间且没有键盘动作的情况下才能运行任务。此外，你还可以把自己或者工作伙伴提交的任务设定成优先运行的对象。 使用ClassAd创建匹配 一个Condor机群中的所有机器都要申明各自的性能，比如可用的RAM内存，CPU类型和速度，虚拟内存大小，当前系统平均负载，还有其它静态或动态特性。机器的ClassAd还会申明在什么条件下才愿意运行Condor任务以及优先运行什么类型的任务。这些方针属性都能通过相关的术语和参数加以表述，由此所有机器拥有者都以一种优雅的方式将自己的机器纳入到整个Condor机群之中。比如你可以申明自己的机器只打算在晚间且没有键盘动作的情况下才能运行任务。此外，你还可以把自己或者工作伙伴提交的任务设定成优先运行的对象。 使用ClassAd创建匹配 同样，当提交一件任务时，也会指定一个ClassAd表明你的需求和偏好。这个ClassAd包括你希望使用的机器类型。例如，或许你想寻求最快的浮点运算性能。那你就会希望Condor能根据浮点性能来选择可用的机器。或者，也许你仅仅在意这台机器是否具有不少于128 Mb的RAM。又比如，你愿意接受任何所能找到的机器！任务的这些属性和需求都可被封装到一条任务ClassAd当中。 使用ClassAd创建匹配 Condor通过持续不断的读取所有的任务ClassAd和所有的机器ClassAd，然后对任务广告和机器广告进行匹配与排列，承担了媒人的角色。Condor确保两类ClassAd中的所有需求都被满足。 利用condor_status检视机器ClassAd 一旦安装好Condor，通过键入condor_status命令你就可以对机器ClassAd究竟做了些什么有一个感性认识。键入codor_status命令能从ClassAd中得到所在机群中可用资源的一份信息该要。键入condor_status然后回车可以看到类似下面的一份概要： 利用condor_status检视机器ClassAd 利用condor_status检视机器ClassAd condor_status命令提供了一些可选参数，能以多种方式摘要显示机器广告。 condor_ status -available 只显示那些目前愿意运行任务的机器。 condor_ status -run 只显示那些目前正在运行任务的机器。 condor_ status -l 列出机群中所有机器的机器ClassAd。 Submitting a Job 使用condor_submit命令把任务提交给Condor执行。condor_submit调用的参数之一是任务提交描述文件的文件名。文件里存放的命令和关键字负责控制任务的调度运转。从任务提交描述文件中，Condor可以获取所有与任务相关的必要信息。执行程序的名称，初始工作目录，以