高级计算机体系结构第7章1.pptx

1 第七章 分布共享存储多处理机 2 第一节 分布存储与可扩展性 一、分布存储的系统结构 1、分布存储的系统结构 有共享存储、非共享存储2种 *NUMA/NORMA系统与UMA系统的区别： 存储系统—一致性模型的实现不同(复杂) 通信模型—编程模型、通信辅助部件(CA)的实现不同 同步操作—实现方法不同(复杂) 回下页 3 2、系统结构相关设计内容 (4)互联网络 拓扑结构、交换策略、路由算法、流控机制(详见第5章) (1)存储系统 *Cache一致性：是否支持、协议种类、硬/软分配 *存储一致性：模型种类、对节点硬件/编程模型的限制 (2)通信系统 *编程模型：编程模型的实现(传输协议)、存储一致性的实现 *节点通信：CA结构、通信抽象的实现 (3)同步操作 硬件原语、同步算法的设计(详见上一章) ※本章主要内容： --基于分布共享存储的体系结构 编程模型及CA的实现，一致性模型的设计，时延包容技术 转上页 4 二、硬件系统可扩展性 *扩展内容：处理器、存储器、I/O、通信等方面 *扩展目标：有效扩展处理器数量 1、带宽可扩展性 *目标：系统带宽及吞吐率可扩展(节点带宽基本不变) *实现：可扩展IN，分布存储结构，并发事务无全局仲裁 2、时延可扩展性 通信时延—t(n)=t额外+t路由+n/B +t竞争 *目标：节点操作/通信的时延随处理器数(p)增加较少 思考—IN由多级2×2交换开关构成，若忽略IN的网络竞争、t额外=1μs、B=64MBps、t路由0=125ns/跳，p从64→1024时，直通、转发及虫蚀方式传输128B的时延各上升多少？ *实现：交换开关快速、拓扑结构合理、网络竞争较小 5 3、成本可扩展性 成本—C(p,m)=C固定+C增量(p,m)，p为处理器数、m为MEM容量 *目标：固定成本比例适中，增量成本接近线性增长 思考—IN由多级2×2交换开关构成，64个节点时CPU、MEM、IN成本等量平衡(各33.3%)，1024个节点时，IN成本上升到多少？ *实现：配置可多样性，基本硬件模块化，IN接近线性增长 ※带宽、时延、成本相互关联，设计时需折中 4、物理可扩展性 物理扩展—有芯片级、板级、系统级集成3种方式 紧密封装与松散封装的特点相矛盾 *目标：对资源可扩展性、技术可扩展性均有好处 *实现：在几种方式之间进行折中 6 第二节 编程模型的实现 *编程模型的实现： 通信操作通过用户/系统的通信原语实现； 通信原语通过节点的软件/硬件实现 *(通信)硬件原语的实现： 总线互连—总线控制器通过总线事务实现硬件原语 网络互连—CA通过网络事务实现硬件原语 7 一、基本网络事务 1、网络事务 定义：从源输出缓冲区到目的输入缓冲区的单向传输，并在目的节点引发从源节点不能直接看到的动作。 网络事务的驱动与解释方案： ①表示为I/O操作，由软件驱动和解释； ②集成到存储系统中，由专用硬件控制器驱动和解释 网络事务的实现方法，给CA带来较大的设计空间。 8 2、网络事务相关内容 （1）网络与总线互连特征的主要区别 总线 网络 源和目的节点的耦合性 耦合(直接连线) 非耦合(交换机分隔) 事务的仲裁性质 全局仲裁 分布仲裁(各交换机调度) 同一时刻事务的数量 一个 多个(网络具有多个通道) （2）网络事务相关内容 格式—由信息在传输链路(不同段宽度可能不同)上串行的方式决定(如定长信息/可变长信息)； 输出缓冲—固定格式时(含小的变化范围)可用缓冲区，可变格式时一般用描述符缓冲区； 目的地命名及路由—源提供命名(目的地逻辑地址→物理地址转换)和路由信息(总线事务为目的节点匹配)； 回下页 9 介质仲裁—无全局仲裁，源端进行局部仲裁后决定是否启动事务，事务所需资源在消息前进过程中逐步分配； 保护—网络事务前进过程中各网络部件对事务进行检查； 输入缓冲—是多个源所共享的资源，可能发生溢出现象； 动作—目的节点对不同事务有不同动作，对任何事务均会产生一个响应； 结束检测—网络事务非原子性事务，源只有事务已发送到网络的信息，结束信息只能通过编程模型实现(如响应/确认等)； 事务排序—节点无法察觉事务的全局顺序性，须对网络事务强加次序约束实现事务的排序(点-点次序的软/硬件实现)； 死锁避免—不能产生(