[所有分类]并行计算.ppt

并行处理与体系结构 任课教师：季振洲 联系方式：新技术楼614房间 电话课程背景 并行处理技术已经成为现代计算机科研与发展的关键技术； 其推动力来自实际应用对高性能、低价格和持续生产力日益增长的要求 计算机原理的概念 计算机体系结构的概念 (Amdahl)； 并行主要研究： 先行方式、流水方式、向量化； 并发性、同时性； 数据并行性、划分； 交叉、重叠、多重性、重复； 时间共享、空间共享； 多任务处理、多道程序、多线程方式和分布式计算。 第一章 并行计算机模型 ?1 计算技术的现状 ?2 多处理机和多计算机 ?3 多向量机和SIMD计算机 ?4 并行计算机的抽象模型 ?5 可扩展的范围和设计 ?1 计算技术的现状 一、并行技术的出现 涉及6个问题： 1.计算问题 现实生活中对问题要求快速而精确地求解推动了计算机的广泛使用。 科学技术中的数值计算问题 人工智能(AI)问题 2.算法和数据结构 并行计算问题中的运算和通信，需要各种专门的算法和数据结构。 符号处理： 存在的问题 ： 3.硬件资源 处理机、存储器和外围设备组成了计算机系统的硬件核心 外围设备可以直接或通过局域网和广域网与主机相连 4.操作系统 管理用户程序执行过程中的资源分配和再分配。 映射是一种算法结构与硬件结构相匹配的双向过程。 并行操作系统的映射 算法和数据结构到机器结构的映射包括处理机调度、存储器映象、处理器间的通信等。 这些问题通常都与系统结构有关。 5.系统软件支持 存在的问题：不能以通用和可移植方式进行并行程序设计 开发并行编程环境： 一种与系统结构无关的语言、编译器和软件工具。 两个方向： 对于开发并行语言， 我们将着眼点放在语言执行的效率、对不同机器的可移植性、与现有的顺序语言的兼容性、并行性的表达和编程的简便性等上面。可以设计一种新的语言， 逐步扩展现有的顺序语言。 新语言有用显式高级结构描述并行性的优点，但是新语言往往与现有语言不兼容，而需要新的编译器或者通过新的步骤才能利用现有的编译器。大部分系统选用的是语言扩展方式。 6.编译器支持 改进编译器有三种途径： 预处理程序; 预编译器; 并行化编译器。 预处理程序采用顺序编译器和目标计算机的低层程序库实现高级并行结构。预编译器需要程序流分析、相关性检查和有限的优化来检测并行性。 联接过程的效果取决于预处理程序、预编译器、并行化编译器、加载程序和操作系统支持的功效。由于程序行为的不可预测，现有的编译器在检测所有类型的并行性时都不是完全自动或完全智能进行的。 有效的方法： 将编译器命令插入源代码，帮编译器做出较好的结果。这样，用户可与编译器进行交互重构程序，这已被证明对提高并行计算机性能是十分有用的。 7.并行程序的设计环境 隐式并行性 伊利诺依大学的David Kuck和Rice大学的KenKennedy以及他们的合作者都已采用这种隐式并行性方法。 显式并行性 加州理工学院的CharlesSeitz和麻省理工学院的WilliamDaily在开发多计算机时采用了这种显式方法。 总结： 要使一个环境对用户更加友好，必须要有专用软件工具。 一些工具是传统高级语言的并行扩展； 一些则是集成环境 其中包括提供不同级别的程序抽象、验证、测试、查错和调试等各种工具；性能预测和监控；辅助程序开发的可视化支持、性能测量以及计算结果的图形显示及动画表示 三、计算机系统结构向高性能发展历程 1.先行、并行性和流水线技术 用先行技术预取指令可使I／E(指令读取／译码和执行) 支持功能并行性的方法有两种： 一种是同时使用多个功能部件； 另一种是在不同处理级分别实施流水线技术。 流水线指令执行、流水线算术计算和存储器存取操作。 2.Flynn分类法 MkhealFlynn(1972)根据指令和数据流概念提出了不同计算机系统结构的分类法。 传统的顺序机被称为SISD(单指令流单数据流)计算机。 向量计算机--标量和向量硬件装备，或以SIMD(单指令流多数据流)机的形式出现。 并行计算机则属MIMD(多指令流多数据流)机 MISD(多指令流单数据流)机 在执行不同的指令流时，同一数据流通过处理机线性阵列。这种系统结构也就是所谓流水线执行特定算法的脉动阵列(Systolicarrays)。 由卡内基—梅隆大学的美籍华人学者H．T．Kung于1978年提出的。 这一结构是随着VLSI技术的发展和各种大运算量的信号/图象处理及科学计算的运算要求而建立起来的。 例1：用脉动阵列(Systolicarray)结构计算矩阵乘 脉动阵列的特点： 处理单元简单 流水 算法专业 例2：数据流计算机 数据流的计算模型--试图使并行计算的基本方面在机器层显式化，而不利用有可能限制程