castor海量数据预留系统 - indico.ppt

支持AFS环境的批作业管理系统 黄秋兰/高能所计算中心 Fabio Hermandez/IN2P3-CC 2011-07-06 主要内容 系统研究背景及意义 系统设计与实现 系统部署与评价 总结与展望 集群系统概况 登录节点 作业管理系统 计算节点 分布式文件系统 AFS NFS Lustre 探测器集群 磁盘池 磁带库 GRASS系统 网格 作业管理系统的问题 系统方面 OpenAFS（Andrew File System）采用Kerberos认证，每个AFS tokens的生命周期有限（默认25小时） 作业管理系统Torque 完全支持工作在采用标准UNIX用户认证的共享文件系统中，比如NFS、Lustre等，但不支持工作在AFS环境中。Torque无法保证用户从AFS的HOME目录提交作业的运行结果写会用户的HOME目录 管理方面 目前集群的所有用户管理和认证都采用AFS认证管理 系统管理需要同时提供AFS和NFS系统的在线服务，不是长久之计 如何解决？ 方案一：放弃AFS系统，所有用户目录$HOME都采用NFS 软件库的共享及并发访问问题，如BOSS软件的Gaudi库等 方案二：集成Torque和AFS，使作业管理系统支持AFS环境 集群可以不提供NFS服务 保证用户在AFS的用户目录下提交各种作业类型，都能正确的将运行结果写回用户的AFS目录 采用方案二，设计了PAFSI（PBS and AFS Integration）系统，有效的弥补了Torque的不足 系统总体设计 系统的设计采用客户端/服务器C/S结构，集群中消息的通信机制基于开源的ActiveMQ消息总线机制。 服务器端AFSTokenServer 服务器端AFSTokenServer的组成 运行在AFS的服务器上，负责保存、伪造及修改用户的AFS Tokens Token-Generator模块 监控集群节点的Tokens请求（节点名、作业ID、作业属主等信息） 验证请求的合法性 伪造合法的Tokens 延长Tokens的生命周期 记录Tokens请求 Token-Dispatcher模块 Tokens的分发，以消息为载体，发送有效的tokens给相应的计算节点，同时修改记录的标志位 请求信息的清理 AFSTokenServer的实现 无需修改AFS的源码 充分利用AFS的开源特性，调用AFS-DEVEL的相关接口，编写自定义的tokens接口 实现的接口有： forgeToken activateToken extendToken 服务器端对Tokens的操作，只需用户提供JOBID，JOBOWNER信息（不需要用户提供任何密码），即可完成有效的tokens伪造 采用ActiveMQ实现与客户端的消息通信，服务器端以消息为载体，发送有效的tokens给相应的计算节点 客户端AFSTokenClient 客户端的实现主要是对Torque PBS的pbs-mom模块扩展 运行在所有计算节点上，负责请求、接收、保存并设置作业运行环境以激活用户的AFS Tokens 当调度到新作业时，向服务器端发送tokens请求，（ JOBID,JOBOWNER,HOSTNAME） 接收从AFSTokenServer端以消息形式发送过来的Tokens，并保存 设置作业运行环境以激活tokens PBS-MOM jobs AFSTokenClient Exist valid tokens？ no Send tokens request Receive tokens Activate tokens in jobs’ environment Create PAG yes 系统的消息服务层 基于开源消息中间件ActiveMQ实现系统消息服务层 ActiveMQ是一个开放源码基于Apache 2.0 licenced发布并实现了Java Message Service(JMS1.1)规范 AFSTokenServer ActiveMQ Pending Queue2 Pending QueueN Pending Queue1 … AFSTokenClient AFSTokenClient AFSTokenClient AFSTokenClient … 作业的生命周期对比 作业生命周期 PAFSI作业管理系统 Torque PBS作业管理系统 作业创建 用户通过shell命令组成的批处理的脚本文件 用户通过shell命令组成的批处理的脚本文件 作业提交 qsub命令提交作业 qsub命令提交作业 作业执行前 1、pbs_mom对作业运行的资源、环境进行判断 2、发送AFS tokens请求，获取用户的AFS tokens 3、设置