系统结构1-并行概念.ppt

page 计算机系统结构讲座并行计算基本概念 什么是并行计算机 ? A parallel computer is a collection of processing elements that cooperate to solve large problems fast David E. Culler U.C. Berkeley 四个要素 有许多处理单元 → 计算结点，存储空间，I/O … 形成一个整体 → 互连网络，通信机制 … 解决一个大的问题 → 并行算法，并行编程，作业调度… 解决得快 → 算法优化，编译优化，负载均衡… 开发并行程序4步曲 Decomposition of computation in tasks Assignment of tasks to processes Orchestration of data access, comm, synch. Mapping processes to processors 并行机的分类 从指令系统和处理器结构来分 标量计算机（Scalar Computer） 向量计算机（Vector Computer） 从程序设计的角度来分 单指令流多数据流计算机（SIMD） 多指令流多数据流计算机（MIMD） 从体系结构的角度来分 共享存储多处理机（SMP） 分布存储多处理机（DMP） 分布共享存储多处理机（DSM） 并行机的分类 UMA—SMP 集中存储器结构，共享存储器结构 每个处理器访问存储器的延迟相等，称为 UMA —— Uniform Memory Access （Dance Hall） 必须解决Cache一致性问题 按UMA结构建造的计算机称为SMP机 SMP——Shared-memory MultiProcessor ——Symmetric MultiProcessor Symmetric 每个处理器的地位相等 访问存储器的延迟相等 访问 I/O 的延迟相等 使用共享区实现进程间的通信 使用锁实现进程间的同步 Cluster 什么是Cluster 商品化结点 商品化互连 Linux 消息传送 倒底属于那一种系统结构？ 属于NUMA结构 Cluster与MPP的区别？ Cluster只能是从I/O总线实现互连 MPP必定是从专门设计的网络接口进行互连的，网络接口的带宽通常与内存带宽在一个数量级上 Cluster，MPP，Constellation 视结点情况而定 结点是商品化主板，就是Cluster 结点是SMP，就是Constellation 结点CPU是向量处理器，就是PVP，归入MPP类 TOP500中只剩下3种系统结构 Cluster MPP Constellation 小结 系统结构 UMA——SMP NUMA——MPP Cluster Cc-NUMA——DSM SSMP Page * 系统结构讲座：并行概念 Sequential computation Pr ocesses p 0 p 1 p 2 p 3 A s s i g n m e n t T asks D e c o m p o s i t i o n P 0 Pr ocessors P 1 P 2 P 3 M a p p i n g p 0 p 1 p 2 p 3 Parallel pr ogram O r c h e s t r a t i o n P 1 Switch Main memory P n (Interleaved) (Interleaved) 2nd-level $ Shared Cache P 1 $ Inter connection network $ P n Mem Mem Distributed Memory (NUMA) Scale P 1 $ Inter connection network $ P n Mem Mem Centralized Memory Dance Hall, UMA P 1 $ Inter connection network $ P n Mem Mem Centralized Memory Dance Hall, UMA 不需要考虑程序和数据的放置 公共的程序和数据结构便于共享 存储器管理和负载均衡非常方便 实现了单一系统映象（SSI — Single System Image），易于编程 在小规模科学计算及事务处理等诸多领域获得了广泛的应用 UMA—SMP SMP面临的挑战 总线结构在长度、频率上都受到限制，且一次只能实现一个连接 即使是交叉开关，模块数也受到限制 两个瓶颈——对共享存储器的访问