Infiniband新1代集群系统的新宠.docVIP

Infiniband:新一代集群系统的新宠 【IT168 专稿】InfiniBand 在2001年完成第一颗芯片的流片之后，关于这种技术的种种话题就热闹起来。在HPC、存储等领域经历了起起伏伏，为了给大家一个清楚的对InfiniBand（以下简称为IB）的认识，本文对该技术以及目前的应用情况进行一个综述性的介绍。 IB：新一代集群的新宠 ??? 传统的集群架构一般需要有三套网络来支持集群中不同数据的传输：存储、管理（TCP/IP）和计算（MPI）。问题是系统日常硬件管理工作非常复杂，一旦需要对系统进行扩展，意味着巨额的成本投入和工作量，例如需要增加10个节点，即需要增加30片卡，同时增加大量的线缆，需要对三套网络进行重新配置。产生该问题的根源在于这是传统集群的特点——以计算节点为核心进行构建集群，如图1。 图1 以计算节点为核心的传统集群 ??? 所以，为了解决传统集群中由于采用计算节点为核心的网络架构所带来的“性能差，结构复杂和扩展能力差”等问题，业界提出了集群架构转变为以交换为核心的体系架构。然而，为了满足这种要求，必须要有一套开放、高带宽、低延迟、高可靠以及满足集群无限扩展能力的交换网络和技术，IB技术应运而生。图2 是以交换为核心的新型集群架构。即节点之间采用IB互联，直接连接到IB交换机，而其他所有网络比如存储、以太网、FC等网络都通过IB交换扩展，即直接形成了以IB交换机为核心的集群系统。 图2 以交换为核心的集群系统 IB：发展历程潮起潮落 ??? IB是由IB行业协会所倡导的，IBTA (Infiniband Trade Association)于1999年成立，协会先后主要成员有：康柏、戴尔、惠普、IBM、Intel、微软和Sun。从历史的角度看，IB代表了两种计算潮流的融合：下一代I/O（NGIO）和未来的I-O（FIO）。大部分NGIO和FIO潮流的成员都加入了IB阵营。 ??? IB发展也是经历了两次浪潮，当IB第一次提出时受到了主流服务器生产链上的厂商的一致青睐和热捧，但由于协议的问题以及软件支持的问题，以及最初的定位问题，导致应用受到限制，包括Intel等厂商一度撤出投资。但随后在2004年IB调整了定位，立足于计算机群的应用，主要在服务器之间以及同存储设备的高速互联，同时在软件方面，成立了开源的OpenIB组织，提供软件管理和驱动等方面的支持，甚至推出了IP over IB的协议转换，可以直接在IB设备上跑TCP/IP协议，这样在HPC领域IB又得到欢迎，图3 是目前全球HPC top500的超级计算机采用IB网络的趋势，从图中可以看出IB在HPC领域的应用中正在迅速增加。 图3 IB互联在top500上席位在不断增加 IB技术架构的发展新趋势 ??? Infiniband架构(IBA)正在朝集群等高端计算应用领域发展，这些应用要求有故障恢复、高可用性、可靠性及耐用性等特性。IBA 支持模块至模块以及机箱至机箱互连，可以X1、X4及X12三种形式应用并采用2.5GHz时钟，目前Infiniband主流技术为DDR技术，所支持的吞吐量为5、20或60Gbps，占用8B10B 编码开销。在下一代的技术采用QDR，带宽将再次提高一倍，最高可达120Gbps。为提供必要的QoS，该标准还提供了16级可映射到16个服务层的虚拟通道。基于信用的流控制及注入速率控制机制，被用来提供必要的拥塞管理。 ??? IB目前推荐fat-tree（胖树结构）或者3d-TOUS连接，采用网络无阻塞技术，可以使每个节点间通讯无阻塞。它定义了用于可靠消息传送(发/收以及DMA)的硬件协议，但未定义消息内容。硬件协议允许从操作系统的内核及用户空间来传送数据。 ??? Infiniband支持诸如配置与资产管理、错误报告、性能指标收集以及拓扑管理等结构服务。它天生就使用IPv6包头来在IBA结构与互联网之间有效地交换数据。该架构具有更高的可扩展性、可用性、隔离度以及更少的CPU使用率，而且还支持互联网技术。它以单独控制与存储器接口来控制数 据进出节点的存储器。图4 是IB原型的分层架构情况，从硬件层到上层软件应用层。 图4 IB分层架构 剖析IB网络组成结构 ??? 为了使IB有效地工作，IB标准定义了用于系统通信的多种设备，包括信道适配器、交换机和子网管理器。如图5所示为IB网络以及各部件。 图5 IB网络组成部分举例 1）IB信道适配器：用于IB结构同其他设备之间的连接，IB标准有两种类型的信道适配器，一种是主机信道适配器（HCA），另外一种是目标信道适配器（TCA）。 ??? HCA卡提供了一个对于Web server等主CPU和存储子系统的接口，并支持IB结构所定义的所有软件动词。这里所说的软件动