计算机集系统高速互连技术浅析.doc

计算机集群系统高速互连技术浅析 1. 引言 高性能计算机在科研领域和关键业务处理方面占有举足轻重的地位，但是支持这类应用的解决方案，多趋向于专有的昂贵的专有系统，并且整体性能也并不总是灵活的、高效的，可扩展性更是乏善可陈。计算机群集的出现使用已经有十几年的历史。 作为最早的群集技术设计师之一， G. Pfister 对群集的定义是，一种并行或分布式的系统，由全面互连的计算机集合组成，可作为一个统一的计算资源使用。在大规模并行计算和机群等高性能计算系统中，处理器之间或计算节点之间的快速互联网络的重要程度并不亚于处理器本身网络是集群中各个节点相互连接和协同工作的基础。随着双核处理器的出现、PCI-Express总线的发展、超级计算机的规模越来越大以及数据库集群的发展、金融分析的精确度的增加，制造业、石油、气象、生物等仿真技术的发展等，使得高带宽、低延时、高性能、低价格的网络互联方案变得日益重要在实际的集群系统中，通常采用两套彼此独立的网络。一套是普通百兆以太网，用于系统管理和文件服务等普通网络通信；另一套是高速网，主要负责并行计算的消息传递和数据交换。在TOP500中，集群的高速网主要有千兆以太网（Gigabyte Ethernet）、10G Ethernet、Quadrics、Myrinet、Infiniband、PathScale的Infinipath、IBM的SP网络、Dolphin SCI、SGI的Numa-Link、Gray的RapidArray等，其中广泛使用的高速通信网络有千兆以太网、Myrinet、Infiniband等三种。千兆以太网是对IEEE 802.3以太网标准的扩展，在基于以太网协议的基础之上，将快速以太网的传输速率（100Mbps）提高了10倍，达到了1 Gbps。为了能够把网络速度从原先的100Mbps提升到1 Gbps，对物理接口进行一些改动。为了确保与以太网技术的向后兼容性，千兆以太网遵循了以太网对数据链路层以上部分的规定。在数据链路层以下，千兆以太网融合了IEEE 802.3/以太网和ANSI X3T11光纤通道两种不同的网络技术，实现了速度上飞跃。图所示为三者之间的构成关系。 图1 三种网络技术构成关系图 这样，千兆以太网不但能够充分利用光纤通道所提供的高速物理接口技术，而且保留了IEEE 802.3/以太网帧的格式，在技术上可以相互兼容，同时还能够支持全双工或半双工模式（通过CSMA/CD）。千兆以太网支持系统到系统之间线速传输，达到约800Mbps的实际数据传送速率，报文收/发时延在60微秒左右。报文收/发延时（或称为ping pong延时）用报文发出到接受到对方回应之间的时间间隔的一半来计算。时延包括交换机的时延（收发双向均为10微秒左右）和接收方主机的收发延时（包括TCP/IP协议栈的处理和缓存到缓存的传送，这些均需要通过软件处理）。Myrinet是Myricom公司私有的交换式集群互连技术，该技术原来为大容量并行处理器系统设计的。Myrinet的基本组成部分是16端口矩阵式交换芯片，通过‘胖树’结构组成较大的交换机和交换阵列。Myrinet交换机和主机适配器的端口速率为2Gbps。Myrinet GM为低级报文层支持收发和RDMA操作。主机端口执行“操作系统旁路”固化微码将协议处理工作从主机CPU卸载下来。Myrinet 网络的设计目标是要在局域网环境中获得系统域网络的性能。因此，它采用了MPP 系统中数据包通信和交换技术，在设计时充分考虑了并行系统内部互连网络传输距离近、出错率低的应用环境，使用简化的链路控制协议实现数据传送，减小了数据传输时的协议开销；采用无阻塞的Clos 网络拓扑结构，减少了数据包在网络中的冲突；网络适配器处理机对网络的自动映像和路由选择功能，可以提高网络的可靠性。Myrinet 网络自从开发成功以来，以其高带宽、低延时和良好的可扩展性，成为构造大规模集群系统的理想选择，在历届TOP500中都占有较大份额。InfiniBand简称IBA，由Mellanox公司提出，是一种新的I/O总线技术，用于取代目前的PCI总线。InfiniBand技术是一种开放标准的高带宽、高速网络互联技术。技术通过一种交换式通信组织（Switched Communications Fabric）提供了较局部总线技术更高的性能InfiniBand总线拓扑结构是基于分组交换点到点连接的fat tree结构，有很好的扩展功能。它既能以PCB的形式提供芯片与芯片的互联，还能以电缆线的形式提供“out of the box”设备与设备之间的互联通过硬件提供了可靠的传输层级的点到点连接，并在线路上支持消息传递和内存映像技术。于连接处理器节点和I/O节点组成系统级网络。InfiniBand的目标是减小