中间件技术05.ppt

第五讲分布计算资源管理与负载均衡系统中间件 分布计算系统资源管理 引言 单机处理能力不断增强，应用需求不断提高 莫尔定律 复杂计算问题（大型科学计算、工程计算、数字仿真、动画设计等）需要计算系统提供强大的计算能力 单机系统甚至SMP系统难以满足复杂问题的应用需要 网络计算的发展动力（1） 计算定律 分布计算资源管理 基于网络的高性能计算已成为并行处理的主流模式之一 巨型计算机系统价格昂贵、通用性差。IBM的“深蓝”与“更深的蓝” 高速网络与高性能工作站创造良好条件 基于网络的高性能分布计算系统具有优良的性能/价格比 分布计算资源管理 网络环境下的分布计算资源管理 当代分布计算系统研究与开发的主要内容之一 较单机环境的处理机管理更为复杂 核心问题是系统模型与负载分布 分布计算资源管理的系统模型 空闲工作站模型 基本概念 连入网络的工作站时常处于空闲状态 白天30%以上空闲， 空闲工作站的含义 未请求联机 no log in 联机，但用户未操作，（规定时间内无键盘/鼠标动作，无用户启动的进程运行） 负载小于指定比例（5%）的工作站视为空闲 充分利用空闲工作站，满足有关应用需求。 系统模型（2） 空闲工作站分配与使用 服务器驱动型 一工作站空闲，主动宣布为可用计算服务器。 注册表登记/广播告知其他工作站 用户通过远程命令使用之； 客户端驱动型 请求服务工作站主动提出资源使用请求 广播方式表明所要求的程序/内存、特殊资源 受到应答处理多个应答问题。 系统模型（3） 远程进程的透明式运行 远程服务功能分别处理 与本机硬件环境相关的操作在本机执行（读键盘、写屏幕、可视化显示等） 获取和改变进程状态等操作必须在远程机上执行。 工作站主返回操作的处理 不予理睬，违背“个人工作站”思想 撤消引入的进程，前功尽弃，形成混乱 迁移引入的进程，代码/数据/现场移动实现难度大， 系统模型（4） 处理资源池模型 基本概念 复杂计算问题需要数十/数百处理机同时计算（广义计算） 将分布处理资源组成资源池，依据需求一次分配一批处理资源 具有优良的可扩性:负载增加，处理资源动态增加。 目前流行的基于网络的群计算（Cluster Computing）属于该模型。 系统模型（5） 排队理论分析 设总输入请求率为k、服务率为l、响应时间为T，则T=/1（l-k） n个处理资源组成资源池，并行执行：Tn=1/（nl-nk）=T/n n个小资源组成一个大资源，处理能力增加n倍、响应时间减小n倍。 处理能力分解为分散管理的小服务器，分配给用户，与随机到达的请求匹配性差，出现少数忙碌、多数空闲的情况。 系统模型（6） 其他模型 混合模型 工作站模型与资源池模型相结合。 交互性工作在工作站完成，保证及时响应；复杂计算用处理资源池方式完成，有效利用资源。 “市场经济”模型 模拟市场经济的供需方关系竞争式使用处理资源。 计算资源分配（1） 计算资源分配算法 前提条件 同构型、代码兼容、主要是速度差异 各处理资源逻辑上是全互连的、可达的。 设计目标 努力提高资源利用效率 尽量减少平均响应时间 追求合理有效的负载分配共享和均衡 计算资源分配（2） 评价标准 调度效果 如最小响应时间，最大资源利用率 算法开销（Overhead） 许多算法忽视算法本身开销，算法过分复杂；若进程迁移提高性能15%，则其实用价值不大。 通信成本 执行成本 算法稳定性 分配策略使用不当，引起系统处于不稳定状态。如“抖动”现象。 计算资源分配（3） 负载分配方式 负载均衡（Load Balancing） 各处理节点总是维持同等的负载分布 需进行频繁的系统性能评价，负载分配的开销大 负载共享 （Load Sharing） 防止任何处理节点处于过分的忙碌状态，即克服“忙闲不均”现象。 易于实现，开销较小 计算资源分配（5） 调度算法分类 确定性与自适应算法 确定性是指事先已知进程的资源需求及其相互关系，运行之前预先分配。适合较简单的分布事务系统和分布控制系统。 自适应是指系统负载不可预测，随时间动态变化，资源分配与系统动态特性相适应。 集中式与分布式算法 集中式指一个节点为资源分配器，系统负载信息集中管理，处理资源统一分配。资源管理器为系统性能瓶颈。 分布式算法为各节点保存负载信息，协商进行处理资源分配。该算法相对复杂一些。 计算资源分配（6） 局部与全局算法 局部算法基于局部信息决策资源分配，简单但优化程度差 全局算法基于全局信息决策资源分配，性能好、代价大 最佳与次优算法 最优算法理想化、难度大 次优算法较为现实 调度算法组合 42种可能方法 组合举例 P157 计算资源分配（7） 分布动态调度策略 发起策略 确定由何节点发起调度活动 发送者初启SI（Sender In