[理学]并行计算基础知识.ppt

第一章并行计算基础知识;第一章并行计算基础知识;1.1并行计算的主要研究目标和内容;并行计算的定义;并行计算的研究内容;并行计算的研究内容;并行计算的研究内容;并行计算的研究内容;并行计算的研究内容;并行计算的研究内容;1.1.3并行计算的应用范围;并行计算的应用分类;并行计算的应用分类;1.2并行计算机发展历史;1.2.1并行计算机发展简述;1.2.1并行计算机发展简述;1.2.1并行计算机发展简述;1.2.1并行计算机发展简述;1.2.1并行计算机发展简述;1.2.1并行计算机发展简述;1.2.1并行计算机发展简述;1.2.1并行计算机发展简述;1.3并行计算机体系结构;结点〔node〕：包含一个或多个CPU,这些CPU通过HUB或全互联交叉开关相互联接,并共享内存,也可以直接与外部进行I/O操作.

互联网络〔interconnectnetwork〕：所有结点通过互联网络相互连接相互通信.

内存〔memory〕：内存由多个存储模块组成,这些模块可以与结点对称地分布在互联网络的两侧,或者位于各个结点的内部.;结点是构成并行机的最基本单位.一个结点包含2个或2个以上微处理器〔CPU〕,并行程序执行时,程序分派的各个进程将并行地运行在结点的各个微处理器上.

每个微处理器拥有局部的二级高速缓存〔L2cache〕.L2cache是现代高性能微处理器用于弥补日益增长的CPU执行速度和内存访问速度差距〔访存墙〕而采取的关键部件.它按cache映射策略缓存内存访问的数据,同时为CPU内部的一级cache提供计算数据.CPU内部的一级cache为寄存器提供数据,寄存器为逻辑运算部件提供数据.;随着处理器速度的日益增长,结点内配置的内存容量也在增长.传统地,1个单位的浮点运算速度配1个字节的内存单元,是比较合理的.但是,考虑到日益增长的内存墙的影响,这个比例可以适当缩小.

例如,1个单位的浮点运算速度配0.4个字节的内存单元.如果以单个微处理器速度为每秒60亿次计算,包含4个处理器的单结点的峰值运算速度可达240亿次,内存空间需要8GB以上.

于是,在当前并行机的结点内,一般需要采用64位的微处理器,才能操作如此大的内存空间.;互联网络是连接所有结点成并行机的高速网络.对于一般的并行机使用者,无须知道互联网络底层复杂的通信原理,而???需从拓扑结构的角度了解互联网络.

互联网络的拓扑结构可用无向图表示.其中,图中的结点唯一地代表并行机的各个结点,图中的边表示在两个端点代表的并行机结点之间,存在直接连接的物理通信通道.;

拓扑结构的几个重要定义：

并行机规模：并行机包含的结点总数,或者包含的CPU总数；

结点度：互联网络拓扑结构中联入或联出的一个结点的边的条数,称为该结点的度；

结点距离：两个结点之间跨越的图的边的条数；

网络直径：网络中任意两个结点之间的最长距离；

点对点带宽：图中边对应的物理联接的物理带宽；

点对点延迟：图中任意两个结点之间的一次零长度消息传递必须花费的时间.延迟与结点间距离相关,其中所有结点之间的最小延迟称为网络的最小延迟,所有结点之间的最大延迟称为网络的最大延迟；

折半宽度：对分网络成两个部分〔它们的结点个数至多相差1〕所必须去掉的边的网络带宽的总和；

总通信带宽：所有边的带宽之和；;

互联网络评价：

??大：结点度、点对点带宽、折半宽度、总通信带宽；

??小：网络直径、点对点延迟；

;按结点间连接的性质,拓扑结构可分为静态拓扑结构、动态拓扑结构和宽带互联网络三类.

静态拓扑结构：结点之间存在固定的物理联接方式,程序执行过程中,结点间的点对点联接关系不变.

动态拓扑结构：结点之间无固定的物理联接关系,而是在联接路径的交叉点处用电子开关、路由器或仲裁器等提供动态联接的特性,主要包含单一总线、多层总线、交叉开关、多级互联网络.

宽带互联网络：当前,除了专用MPP系统采用静态的拓扑结构外,微机机群均采用宽带互联网络连接各个计算结点.;Flynn1966年分类法是根据系统的指令流和数据流对计算机系统进行分类的一种方法.

指令流：机器所执行的指令序列

数据流：指令流调用的数据序列〔包括输入数据和中间结果〕

SISDSingleInstructionstreamSingleDatastream

SIMDSingleInstructionstreamMultipleDatastream

MISDMultipleInstructionstreamSingleDatastream

MIMDMultipleInstructionstreamMultipleDatast