【必威体育精装版】多核构架与并行计算ppt模版课件.ppt

* * * * * * * * * * * * * 并行编程标准 数据并行语言标准 Fortran90, HPF(1992), Fortran95/2001:显式数据分布描述,并行DO循环. 线程库标准(Thread Library) Win32 API. POSIX threads线程模型. 编译制导(Compiler Directives) OpenMP : portable shared memory parallelism 消息传递库标准(Message Passing Libraries) MPI : Message Passing Interface PVM : Parallel Virtual Machine 数据并行编程 共享变量编程 消息传递编程 * * 并行编程标准归类 所有并行编程标准可分为以下三类: 数据并行 HPF, Fortran90 用于SMP, DSM 共享编程 OpenMP 用于SMP, DSM 消息传递 MPI, PVM 用于所有并行计算机 三者可混合使用: 如对以SMP为节点的Cluster来说, 可以在节点间进行消息传递,在节点内进行共享变量编程. * * 基本并行化方法 相并行（Phase Parallel） 流水线并行（Pipeline Parallel） 主从并行（Master-Slave Parallel） 分治并行（Divide and Conquer Parallel） 工作池并行（Work Pool Parallel） * * 并行算法描述 在并行算法的表述中，所有描述串行算法的语句及进程均可调用，而只是为了表达并行性而引入几条所谓的并行语句 当几个算法步要并行执行时， 我们可以写作 Do step i to j in parallel step i step i+1 … step j 或者是： 当几个处理器同时执行相同的操作时，我们可以写作 for all i parallel do . . . end for * 程序性能优化 串行程序性能优化 调用高性能库，比如优化的BLAS，FFTW等 选择适当的编译器优化选项 合理定义数组维数 注意嵌套循环的顺序，尽量改善数据访问的局部性 循环展开 并行程序性能优化 减少通信量、提高通信粒度 全局通信尽量利用高效集合通信算法 挖掘算法的并行度，减少CPU空闲等待 负载平衡 通信、计算的重叠 通过引入重复计算来减少通信，即以计算换通信 * * 并行编译器 并行编译过程 * * 并行编译器 流分析 代码优化 代码向量化（Code Vectorization）: 把标量程序中的由一种可向量化循环完成的操作变换成向量操作。 代码并行化（Code Parallelization）:并行代码的优化是将一个程序展开成多线程以同时供多台处理机并行执行，其目的是要减少总的执行时间。 代码生成 并行代码生成（Code Generation）涉及到将优化后的中间形式的代码转换程可执行的具体的机器目标代码。包括执行次序、指令选择、寄存器分配、负载平衡、并行粒度、代码调度以及后优化（Postoptimization）等问题。 * * 并行计算的挑战 如何协调 如何控制 如何监视 并行编程 采用多线程解决同一个问题 在并行线程之间的通信与同步机制 ··· * * 机群的每个结点都是一个完整的计算机 机群各结点总有本地磁盘 各结点通过低成本的商用网络互连 结点与系统级网络的网络接口是连接到I/O总线上的（松耦合），而MPP的网络接口是连到结点的存储总线上（紧耦合） 每个结点上驻留有完整的操作系统，并在上面附加软件层以支持单一系统映像、通信等，而MPP中结点上只是一个操作系统微核 软件技术是集群的关键 主流并行计算机系统-----集群系统 * * 集群系统特点 高性能/价格比 硬件方面：主要使用商用计算机硬件，造价低，配置灵活。 软件方面：大量使用开放源码（OpenSource）的软件系统。 能够以更低廉的价格获得更高的峰值计算速度(Peak Performance) 良好的可扩展性 可以根据需要灵活的调整集群系统的规模。可以满足多种类型的计算要求 易获得性，配置灵活 设计建造技术要求较低(对比于MPP)。 可以用有限的资金获得高峰值速度。 突破SMP的技术限制。 可以根据实际情况挑选集群系统的各种组件. * * 集群系统的体系结构 * * 并行计算系统现状(TOP500) Constellations = clusters of =16 P，SMP Commodity clusters of uni or =4 Ps,