第一章并行计算预备知识.ppt

并行计算导论 “并行计算”的概念 并行计算机(高性能计算机) 并行计算机是由一组处理单元组成的，这组处理单元通过相互之间的通信与协作能以更快的速度共同完成一项大规模的计算任务。 并行计算----指在并行计算机上进行的计算（技术或应用）。 并行计算导论 《并行计算》课程要讨论的内容 并行计算（机）的历史和发展方向 并行计算机体系结构概况 并行计算机完成计算要考虑的一些关键问题 并行算法设计的一般思路 一些常用的并行算法 基于多核的并行编程（入门级） 并行计算导论 《并行计算》课程的目的 了解当代并行计算机的发展现状 了解并行计算相关的基本术语和技术 了解并行计算的思维方式 能够理解和设计简单的并行算法 能够设计和实现简单的并行程序（基于多核） 开阔分析和处理问题的思路 第一章 并行计算机系统及其结构模型 第二章　当代并行计算机系统介绍 第四章　并行算法的设计基础 第五章　并行算法的一般设计策略 第六章　并行算法的基本设计技术 第七章　并行算法的一般设计过程 第八章　基本通信操作 第九章 多核编程技术介绍 并行计算的应用需求 并行计算机的发展过程 一些基本术语 并行计算实例 当代科学与工程问题的计算需求 早期科学研究方法 理论研究 ? 科学实验 现代科学研究方法 理论研究 ? 科学实验 ? 计算技术 三者的融合使现代科学技术迅速发展 如：宇航和天体物理学、流体力学、气象学、材料科学、生物学等 计算科学的发展使理论研究更加深入，科学实验的速度加快、成本降低 当代科学与工程问题的计算需求 计算密集 数据密集 网络密集 计算量大 时间性强 数据相关性大 例1：数值天气预报 气象科学实际上是实验科学 但我们没有办法建立真实大气实验模型 以“模拟大气”来代替“真实大气”是一个好办法 数值模拟已成为了大气科学的重要实验手段 提高数值天气预报的水平需要： 分辨率的提高 模拟的物理过程的改进 初值的形成 -----计算量猛增 例2：高性能计算是发展核武器的必要工具和主要手段 因为 核爆炸和核反应过程是在高温高压下进行的： 压力高达几百万个大气压 温度高达几千万摄氏度 巨大能量在微秒量级的时间内释放出来 描述核反应物理过程的数学模型是一组非定常的非线性偏微分方程 所以，测量核武器内部细致的反应过程十分困难 真实核试验的测试结果只能提供一些综合效应的数据 从计算机模拟的结果能看出各种因素和机制的相互作用，从而能深入了解核反应的运动规律 例2：高性能计算是发展核武器的必要工具和主要手段 计算机模拟是核电安全分析的主要手段之一 世界各国都在开发各种先进的核电安全程序、 核电站燃料元件储存池临界安全的程序系统 这些程序不仅计算量大，且占用大量存储空间因此，能源部门也是巨型机的主要用户。 主要内容 并行计算的应用需求 并行计算机的发展过程 一些基本术语 并行计算实例 并行计算机的发展过程 并行计算机的发展过程 并行向量处理机 (Parallel Vector Processors PVP) 1976 年，出现了具有实用价值的向量处理机 Cray-1 单处理机模式，向量寄存器（向量功能流水线） 运算速度： 3—160M flops 平均速度： 20—80M flops 向量点积速度： 22M flops 利用大量的向量寄存器快速地实现向量运算 1985 年，Cray Inc. 推出Cray-2 超级计算机 该机的向量处理速度是 Cray-1 的 12 倍 (1G flops) PVP结构模型 典型的PVP机型 80年代中、后期是PVP的时代，有很多PVP相继问世，如： Convex公司的C3800系列 DEC公司的 VAX 9000 IBM公司的IBM 390/VF Fujitsu公司的VP 2000 Cray公司的 YMP-90 对称多处理机 (Symmetric Multiprocessor SMP) 将各处理器经由高速总线（或交叉开关）与共享存储器相连 每个处理器对共享存储器具有同等的访问权利 每个处理器对I/O设备和其它系统资源享有同等的访问权利 在SMP系统中一般要求每个处理机是相同的 因此称之为对称多处理机 分布式共享存储多处理机系统 (Distributed Shared Memory DSM) DSM系统具有以下特点： 存储器在物理上分布于各处理器附近，但在逻辑上可由多个处理器共享整个内存 DSM系统实际上是SMP和MPP结构的折中 DSM的优点： 避免了集中式存储结构中处理器和存储器的复杂连接 有良好的可扩展性 相对MPP来说，更容易编程 分布式共享存储多处理机系统 工作站机群 (Cluster Of Workstations COW Network