第2讲 并行计算工作原理.ppt

* * * OpenMP：Open Multi-Processing，用于共享内存并行系统的多线程程序设计的一套指导性注释(Compiler Directive)。 * * * * * * * * * 2004年4月 */149 并行计算--高性能计算 并行计算(Parallel Computing） 高端计算(High-end Parallel Computing) 高性能计算(High Performance Computing) 超级计算(Super Computing) 任何高性能计算和超级计算都离不开使用并行技术 2004年4月 */149 什么是并行计算? 并行计算: 由运行在多个部件上的小任务合作来求解一个规模很大的计算问题的一种方法 例: 在曙光2000上用8个节点计算的Mandelbrot集结果(Mandelbrot为分形理论创始人) 2004年4月 */149 现代计算机的共同特点： 并行性 2004年4月 */149 现代计算机的共同特点： 并行性 2004年4月 */149 如何实现并行计算? 分而治之! 2004年4月 */149 分而治之 并行化的主要方法:分而治之 根据问题的求解过程，把任务分成若干子任务(任务级并行或功能并行) 根据处理数据的方式，形成多个相对独立的数据区，由不同的处理器分别处理(数据并行) 并行计算的特点 为利用并行计算，通常计算问题表现为以下特征：  　　（1）将工作分离成离散部分，有助于同时解决；  　　（2）随时并及时地执行多个程序指令；  　　（3）多计算资源下解决问题的耗时要少于单个计算资源下的耗时。 　　并行计算是相对于串行计算来说的，并行计算分为时间上的并行和空间上的并行。 时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。   并行计算机的分类 并行计算科学中主要研究的是空间上的并行问题。 空间上的并行导致了两类并行机的产生，按照Flynn的说法分为：单指令流多数据流（SIMD）和多指令流多数据流（MIMD Multiple Instruction Stream Multiple Data Stream ）。我们常用的串行机也叫做单指令流单数据流（SISD）。 SISD SIMD MIMD * 并行计算机体系结构 组成要素 结点（node）：一个或多个处理器组成 互联网络（interconnetct network）：连接结点 内存（memory）：多个存储模块组成 * 并行计算机体系结构 并行计算机体系 结构示意图 内存模块与结点分离 并行计算机体系 结构示意图 内存模块位于 结点内部 * 操作系统与编程语言 并行计算机主流操作系统：UNIX / Linux AIX（IBM） HPUX（HP） Solaris（SUN） IRIX（SGI） Linux 编程语言 Fortran 77/90/95 C/C++ 2004年4月 */149 并行计算软件环境及现状 操作系统：UNIX、LINUX、Windows NT 在SMP,DSM并行机上编译系统通常具有一定的对用户程序(C/Fortran) 进程自动并行化的能力,但经常需要人工干预 (通过编译制导,命令行选项等) 以达到理想的并行效率.且并行主要针对循环进行 (属于细粒度并行); 在分布式内存并行机上尚无通过高效的自动并行工具,主要依靠人工编写并行程序; 并行算法的设计及并行程序的编制已成为目前特约大规模并行计算机应用的主要障碍. 并行编程现状 ?: 并行软件开发远远落后于并行系统体系结构的发展。缺少合适的并行软件是阻碍主流用户社会接纳并行计算的原因。 ?: 与串行软件相比，并行软件数量少，功能原始。 2004年4月 */149 ?? 编程环境 落后的并行编译器、调试器 vs. 通用先进的串行编程环境. 自动并行编译器远远满足不了程序并行化的要求. 3算法 并行模型的多样化(并行计算机系统结构的多样性) vs. 串行编程中的唯一模型: 冯.诺依曼模型 问题的并行求解的困难在于问题的多样性和求解过程中所需的创造性劳动，使得这一过程难以进行自动化 对串行机而言, 解法 = 唯一串行算法+计算程序(通用) 对并行机而言, 解法 = 某种并行算法+有针对性的计算程序(很难通用) J人 稀少而初级的并行编程人员 vs. 成熟而经验丰富的串行程序员 2004年4月 */149 一些途径 充分利用顺序程序开发的经验、方法和工具，特别是顺序领域中的问题求解、算法设计方法，这是简化并行程序开发的