第八章 并行计算 Parallel Computing.pdf

并行计算 Parallel Computing 主讲人 孙广中 Spring, 2016 并行计算—— 结构•算法• 编程  第一篇 并行计算的基础  第一章 并行计算与并行计算机结构模型  第二章 并行计算机系统互连与基本通信操作  第三章 典型并行计算机系统介绍  第四章 并行计算性能评测 国家高性能计算中心（合肥） 2 第四章 并行计算性能评测  4.1 并行机的一些基本性能指标  4.2 加速比性能定律  4.2.1 Amdahl定律  4.2.2 Gustafson定律  4.2.3 Sun和Ni定律  4.3 可扩放性评测标准  4.3.1 并行计算的可扩放性  4.3.2 等效率度量标准  4.3.3 等速度度量标准  4.3.4 平均延迟度量标准 国家高性能计算中心（合肥） 3 CPU 的某些基本性能指标  工作负载  执行时间  浮点运算数: Flops  指令数目: MIPS  无重叠的假定下：并行执行时间包括 T 计算时间， comput T 并行开销时间，T 相互通信时间 paro comm T = T + T + T n comput paro comm  T : 进程管理（如进程生成、结束和切换等），组操作（如 paro 进程组的生成与消亡等），进程查询（如询问进程的标志、等 级、组标志和组大小等）  T comm :同步（如路障、锁、临界区、事件等），通讯（如点到 点通信、整体通信），聚合操作（如规约、前缀运算等） 国家高性能计算中心（合肥） 4 存储器性能 1-100GB 远程 100-100K周期 存储器 1-300MB/S  存储器的层次结构(容量C,延迟L,带宽B) 1级 2级 寄存器 高速缓存 高速缓存 主存 磁盘 C2KB 4-256KB 64KB-4MB 16MB-16GB 1-100GB L=0周期 0-2周期 2-10周期 10-100周期 100K-1M周期 B=1-32GB/S 1-16GB/S 1-4GB/S