大规模并行计算程序优化.pdfVIP

大规模并行计算程序优化 高性能服务器产品部 应用支持处 1 刘羽 博士 主要内容 并行计算机体系结构 并行程序设计及编译优化 TAU 分析器简介 2 并行计算机体系结构 并行计算机结构模型  根据指令流和数据流的不同，通常把计算机系统分为： ► 单指令单数据流 (SISD) ► 单指令多数据流 (SIMD) 数据个数 ► 多指令单数据流 (MISD) D ► 多指令多数据流 (MIMD) M SIMD MIMD  并行计算机系统多大部分为MIMD系统，包括： S SISD MISD ► 对称多处理机（SMP） ► 分布式共享存储多处理机（DSM） S M 指令 个数 I ► 大规模并行处理机（MPP） ► 机群（Cluster） 3 SMP- Symmetric MultiProcessing  多个CPU连接于统一的内存总线  内存地址统一编址，单一操作系统映像  可扩展性较差，一般CPU个数少于32个  目前商用服务器多采用这种架构 CPUs CPUs CPUs CPUs 4 CPUs may require switching Local Area Network Memory Bus Chipset Memory I/O Bus NIC System 4 DSM- Distributed Shared Memory 物理上分布存储、所有内存模块统一编址 非一致内存访问（NUMA）模式  基于Cache的数据一致性，又称CC-NUMA 节点数可扩展到几百个，小型机多为此类架构 CPUs CPUs CPUs Memory Memory Memory Memory Memory Memory Bus Bus Bus NUMA