第20讲 并行计算.ppt

并行计算 并行计算介绍 并行计算 并行计算的应用需求 并行计算 串行计算与并行计算 并行计算介绍 微处理器的多级存储结构 微处理器的多级存储结构 并行计算机体系结构 并行计算机的发展 并行计算机的发展 并行计算机的发展 并行计算机的发展 并行计算机的发展 并行计算机的发展 并行计算机的发展 并行计算机的发展 并行计算机的发展 并行计算机的发展 并行计算机的发展 并行计算机的发展 并行计算机的发展 并行计算机的发展 并行计算机的发展 并行计算介绍 我国高性能计算机的发展 我国高性能计算机的发展 我国高性能计算机的发展 我国高性能计算机的发展 我国高性能计算机的发展 并行计算介绍 当前高性能计算机 当前高性能计算机 当前高性能计算机 当前高性能计算机 当前高性能计算机 当前高性能计算机 国内高性能计算机 国内超级计算中心 并行计算介绍 操作系统与编程语言 进程与线程 并行编程环境 并行计算介绍 并行算法 并行算法设计 并行机类型 Architecture share for 06/2009 并行机采用的操作系统 Operating system Family share for 06/2009 并行机采用的网络链接 并行计算机发展趋势 Top 100 in China：/ 曙光公司 中国科学院计算技术研究所 国家智能计算机研究开发中心 国家高性能计算中心 合作伙伴：AMD、上海超级计算中心 必威体育精装版产品：曙光 5000A （百万亿次） 联想公司 合作伙伴：Intel、中科院计算机网络中心（超级计算中心） 必威体育精装版产品：深腾 7000 （百万亿次） 国家高性能计算中心 国家高性能计算中心（北京） 1995年5月成立，第一个高性能计算中心 国家高性能计算中心（合肥）：1995年9月，中科大 国家高性能计算中心（成都）：1997年11月，西南交大 国家高性能计算中心（武汉）：1997年12月，华中科技 国家高性能计算中心（上海）：1998年4月，复旦大学 国家高性能计算中心（杭州）：2001年4月，浙江大学 国家高性能计算中心（西安）：2002年4月，西安交大 什么是并行计算 并行计算机的发展 我国并行计算机的发展情况 当前的超级计算机 并行计算机体系结构 操作系统与并行计算编程环境 并行算法 并行计算机主流操作系统：UNIX / Linux AIX（IBM） HPUX（HP） Solaris（SUN） IRIX（SGI） Linux 编程语言 Fortran 77/90/95 C/C++ 进程（process） 运行中的程序 各个进程拥有独立的执行环境 进程间通信 同一台处理机或不同处理机的多个进程之间交流信息 通信（消息传递）、同步、聚集 线程（threads） 降低系统管理开销 一个进程可以含一个或多个线程 * 并行计算机存储结构 分布式共享存储器 全高速缓存存储访问 (COMA): 每个节点拥有共享存储的一部分。然而，这次共享存储器是由Cache组成的。 没有层次性存储，地址空间是针对Cache的。 有一个Cache目录来帮助远程Cache访问。 需要将数据转移到需要它的节点上。 * 并行计算机存储结构 分布式共享存储器 优点 全局地址空间提供一个用户友好的访存编程方式。 由于节点与内存接近，任务间的数据共享快速统一 缺点 增加一些节点会使得存储器到节点的路径的拥挤程度成几何增大。 对于cache一致性系统，增加更多的节点会使得与cache/存储器管理相关联的冲突成几何增长。 程序员的责任就是能确保全局存储的正确访问的同步结构。 并行计算机系统架构 以动物的食物链为例 并行计算机系统架构 并行计算机系统架构 对称多处理机系统(SMP) SMP 对称式共享存储:任意处理器可直接访问任意内存地址,且访问延迟、带宽、机率都是等价的; 系统是对称的； 微处理器: 一般少于64个; 处理器不能太多, 总线和交叉开关的一旦作成难于扩展； 例子: IBM R50, SGI Power Challenge, SUN Enterprise, 分布式共享存储系统(DSM) DSM 分布共享存储: 内存模块物理上局部于各个处理器内部,但逻辑上(用户)是共享存储的; 这种结构也称为基于Cache目录的非一致内存访问(CC-NUMA)结构;局部与远程内存访问的延迟和带宽不一致; 与SMP的主要区别：DSM在物理上有分布在各个节点的局部内存从而形成一个共享的存储器； 微处理器: 16-128个; 代表: SGI Origin 2000, Cray T3D; 大规模并行计算机系统(MPP) MPP 物理和逻辑上均是分布内存 能扩展至成百上千个处理器(微处