第九章多处理机.pptVIP

* 第九章 多处理机 多处理机系统由若干台独立的处理机组成，每台处理机能够独立执行自己的程序，处理机之间按某种形式互连，在统一的操作系统调度下，从而实现程序之间的数据交换和同步。Flynn称这种结构为多指令流多数据流（MIMD）结构。 并行性(parallelism)：指同一时刻或同一时间间隔内完成两种或两种以上性质相同或不同的工作。只要在时间上相互重叠，均存在并行性。 并行性分：同时性、并发性。 并行性等级（执行的角度，从低到高）： 1）指令内部并行性，即指令内部的微操作之间的并行。 2）指令间并行，即并行执行两条或多条指令。 3）任务级或过程级并行，即并行执行两个或多个过程或任务（程序段） 4）作业或程序级并行，即在多个作业或程序间的并行。 阵列处理机（SIMD）实现的是指令内部并行性（多数据流执行同一指令）。 多处理机系统（MIMD）实现指令以上级（任务级、作业级）并行。 并行性概念 多处理机系统的基本结构 互连网络 处理机1 处理机2 处理机N 存储器 存储器 存储器 I/O I/O 互连网络 处理机1 处理机2 处理机N 存储器 存储器 存储器 I/O I/O I/O 两种多处理机系统基本结构 2）分布式存储器多处理机结构 （每台处理器有自己的处理器和I/O设备，处理器之间通过互连网络实现点对点信息交换） 1）共享存储器多处理机结构 （存储器和I/O设备是独立的子系统，通过互连网络为所有处理器共享，任何两台处理器可以通过共享存储器单元实现通信） 两种多处理机系统基本结构： 1）共享存储器使多处理机拥有同一的寻址空间，一方面便于处理机之间的信息交换，另一方面使程序员无需在程序中显式地控制数据的分布和传输，因而易于编程。 2）分布式存储器可以采用虚拟共享存储器技术。虚拟共享存储器（Virtual Shared Memory）对分布在各处理机的局部存储器在逻辑上统一编址，形成一个为所有处理机共享的虚拟地址空间（ Virtual Address Space）。虚拟共享存储器技术方便了程序员编程，但是，处理机之间信息交换的物理实现仍然是通过点对点的通信。 多处理机系统的基本结构 MIMD结构特点（与SIMD比较）： 1）MIMD结构有多个控制器，至少有多个指令部件，对各个PE实现单独控制，而又相互协调配合。 2）MIMD结构的外围设备要能够被多个PE分别调用，因而要通过互连网络转接。 3）MIMD互连网络必须满足各个PE随机访问主存储器的要求，必须有存储映射部件，满足存储空间动态分配和处理机共享数据的需要。 共享存储器=共享存储器+虚拟共享存储器 共享存储多处理机 (Shared Memory mulptiProcessors)，也称为对称多处理机SMP (Symmetry MultiProcessors) 有三种模型： 1) UMA多处理机 均匀存储器存取模型 (Uniform Memory Access) ▲存储器被所有处理机均匀共享 ▲所有处理机对所有存储单元具有相同的存取时间 ▲每台处理机有局部Cache ▲外围设备可以共享 2) NUMA多处理机 非均匀存储器存取 (Nonuniform Memory Access)模型 ▲存储器访问时间随存储单元的位置不同而变化。 ▲共享存储器在物理上是分布在所有处理机中的本地存储器。所有局部存储器地址空间的集合就组成了全局地址空间。 ▲处理机访问本地存储器比较快，访问属于另一台处理机的远程存储器则比较慢，因为通过互连网络会产生附加的时间延迟。 共享存储多处理机 系统互连网络 NUMA多处理机模型 P1 LM1 …… P2 LM2 Pn LMn 系统互连网络 （总线、交叉开关、多级网络） UMA多处理机模型 P1 …… P2 Pn SM1 SM2 SM2 I/O …… 3) COMA多处理机 只有Cache的存储器结构 (Cache-Only Memory Architecture) 模型， COMA是一种只用Cache的多处理机系统，实际上，COMA模型是NUMA模型的一种特例。后者分布存储器换成了Cache。 ▲在每个处理机结点上没有主存储器，全部Cache组成了全局虚拟地址空间。 ▲远程Cache访问通过分布Cache目录进行。 ▲共享存储系统拥有统一的寻址空间，程序员不必参与数据分配和传输。 互连网络 COMA多处理机模型 目录1 Cache1 …… P1 目录2 Cache