第10章并行程序设计.ppt

程序设计语言范型Programming Languages Paradigms 内容 1.并行计算基础 1.1 并行计算 1.2 硬件体系结构 1.3 进程和线程 2.并行程序设计语言 3.并行程序设计方法 1.1 并行计算 应用需求 1.1 并行计算 串行处理：多个任务在一个处理单元上依次执行 并行处理：多个任务在多个处理单元上同时执行 1.1 并行计算 内容 1.并行计算基础 1.1 并行计算 1.2 硬件体系结构 1.3 进程和线程 2.并行程序设计语言 3.并行程序设计方法 1.2 硬件体系结构 单指令流多数据流(SIMD) 中央处理进程指定每个处理器应该执行的指令，每个处理器以相同的速度执行相同的指令 1.2 硬件体系结构 多指令流多数据流(MIMD) 1.2 硬件体系结构 1 共享存储器 存储器统一编址被处理器共享使用，处理器通过读写共享变量相互通信。 (1) 集中式共享存储 ——对称多处理器（Symmetric MultiProcessor） 存储器的结构是集中的，处理器以相同速度访问所有存储器单元。 性能限制：处理器/存储器带宽 代表：IBM R50, SGI Power Challenge, SUN Enterprise, 曙光一号 1.2 硬件体系结构 1 共享存储器 (2)分布式共享存储 内存模块物理上局部于各个处理 器内部,但逻辑上是共享存储的 处理器访问存储器的速度取决于存储器的位置，局部与远程内存访问的延迟和带宽不一致 代表: SGI Origin 2000, Cray T3D 1.2 硬件体系结构 2 分布式共享存储 所有的结点是单独的计算系统，拥有自己的地址空间，存储器单独编址，数据通信通过发送消息实现 (1)大规模并行处理机 (Massively Parallel Processors) 采用高通信带宽和低延迟的互联网络 (专门设计和定制的) 代表:CRAY T3E(2048), ASCI Red(3072), IBM SP2, 曙光1000 1.2 硬件体系结构 2 分布式存储器 (2)集群（Cluster） 由商业计算机通过商业网络连接而成 1.2 硬件体系结构 处理器的组织需要满足 多个处理器间的操作同步 多个处理期间的相互通信 内容 1.并行计算基础 1.1 并行计算 1.2 硬件体系结构 1.3 进程和线程 2.并行程序设计语言 3.并行程序设计方法 1.3 进程和线程 进程 程序在计算机上的一次执行活动 系统进行资源分配和调度运行的一个独立单位 使多个程序并发执行，改善资源利用率提高系统的吞吐量 线程 进程的一个实体，是轻量级的进程 拥有很少的系统资源：程序计数器、寄存器和栈 同一进程的各线程共享进程的全部资源 内容 1.并行计算基础 2.并行程序设计语言 2.1 没有明显并行机制的并行编程 2.2 明显并行机制的并行编程 2.3 并行粒度 2.4 进程的通信与同步 3.并行程序设计方法 1 扩展编译器 利用编译器优化程序 使得目标程序可以利用操作系统提供的功能运行在多个处理器上 难以得到最优分配策略 2.1 没有明显并行机制的并行编程 2 扩展已有的串行编程语言 使用外部函数库实现并行计算 不同的操作系统或机器提供不同的库函数 微软Windows线程API 微软.NET框架线程API POSIX线程 Pthreads 是Linux操作系统中多线程接口的标准 Pthread-win32（Windows版本） Intel的Threading Building Blocks库 用来实现并行语义的c++模板库，它对c++进行了扩展，抽象出了线程管理机制并支持简明的并行编程。 内容 1.并行计算基础 2.并行程序设计语言 2.1 没有明显并行机制的并行编程 2.2 明显并行机制的并行编程 2.3 并行粒度 2.4 进程的通信与同步 3.并行程序设计方法 2.2 明显并行机制的并行编程 1 扩展已有的串行编程语言 提供支持并行程序的关键字和语言 高性能Fortran（HPF）语言 Concurrent C Java，在5.0版中引入了concurrency包 ??? 2 人工干预处理器的分配(明显表达并行计算) 通过使用嵌入的编译器命令建立并行说明 OpenMP 3 使用标准的外部函数库 PVM（Parallel Virtual Machine） MPI（Message Passing Interface） 2.2 明显并行机制的并行编程 进程的创建和销毁 将当前的进程分为多个进程，执行同一段程序的拷贝 不同的进程可以按照进程标识执行程序的一部分 SPMD(Single Program Multiple Data) 将一段代码专门由一个进程执行 每个进程