超算中心（高性能计算）数据中心的网络建设.docx

超算中心/高性能计算数据中心的网络建设

云计算和超级计算的区别

通用VS专用：云计算面向更广泛普适的场景，随着应用领域和应用层次不断扩张，对外提供丰富多变的云业务应用；超级计算/HPC则主要提供国家高科技领域和尖端技术研究需的运算速度和存储容量，其中主要包括航天、能源、国防、气候建模等

分布VS并行：云计算以分布式为特色，统筹分散的硬件、软件和数据资源，通过软件实现资源共享和业务协同，运行的任务也是分布式的，当前云计算正在从核心云转向边缘云，分布式理念体现得更加极致；超算集群逻辑上是集中式的，针对计算密集型任务更强调并行计算以获得高性能，各节点任务存在前后的依赖，节点之间数据交换的延迟要求极高。

成本VS性能：云计算中心的底层逻辑是规模经济，追求成本效益，一般采用廉价标准x86硬件搭建，可用性、可靠性、扩展性大多通过软件模拟实现；而超算中心更追求卓越性能，舍得花钱升级计算和存储，使用各类高性能加速芯片、低延时通信、高级存储系统，随之而来的能源消耗也很高。

我国超算中心的布局

超级计算又称高性能计算(HPC)，是计算科学的重要前沿分支，指利用并行工作的多台计算机系统（即超级计算机）的集中式计算资源，处理极端复杂或数据密集型问题。超算能力是衡量一个国家或地区科技核心竞争力和综合国力的重要标志。超算算力以每秒浮点运算次数衡量，一般以Petaflops（PFlops）为度量单位。

目前，全国国家超级计算中心有十座，分别位于天津、广州、长沙、深圳、济南、无锡、郑州、昆山、成都和西安，其中深圳和西安中心二期正在建设，文昌航天超算中心已进入建设尾声。

超算中心网络建设

超算中心需要解决的一个性能瓶颈，是各个计算节点之间的网络连接。在早期的计算中心内部，服务器之间是通过普通的万兆网卡和网线（或者光纤）使用TCP/IP协议传输数据。这种方案下网络延迟和吞吐量完全无法满足高性能计算的需求。

目前超算中心主流的网络架构基于RDMA(RemoteDirectMemoryAccess)，远程直接数据存取），它通过网络把数据直接传入计算机的存储区，将数据从一个系统快速移动到远程系统的内存中，而不对操作系统造成任何影响，这样就不需要用到多少计算机的处理功能。RDMA有三个特点，低时延、低CPU占用、高吞吐带宽。它就是为了解决网络传输中服务器端数据处理的延迟而产生的。

当前RDMA技术有三大路线，分别是InfiniBand，iWARP和RoCE。

InfiniBand是由InfiniBand行业协会所倡导的。InfiniBand采用封闭的私有协议，需要使用Mellanox的专用交换机。但它的性能目前是三派之中最强的。iWARP是在TCP/IP协议上面，对RDMA做的技术封装。从原理上看，它就失去了RDMA的性能优势，已经逐渐被业界所抛弃了。

值得一提的是RoCE。RoCEv2标准可实现RDMA路由在三层以太网的传输——RoCEv2规范将用以太网链路层上的IP报头和UDP报头替代InfiniBand网络层，只需专用网卡和低时延的以太网交换机便可实现。与此相对的，InfiniBand只有单一厂商，可能存在厂商锁定问题，并且供货周期和后续维保服务难以保证。所以，RoCE作为低时延替代方案，越来越被人们所重视。

星融元高性能计算（HPC）网络方案（基于RoCEv2）

超低TCO、超高性价比

相较于IB网络方案，大幅度降低用户的网络TCO，同时确保超高性能

横向平滑扩容、1:1收敛无阻塞

无收敛的网络设计确保无阻塞的大容量网络，按需横向扩展

整网RoCEv2

基于CEE/DCB能力，提供可与IB媲美的性能和同样无损的网络服务

开放网络操作系统

星融元网络操作系统AsterNOS，SONiC企业级发行版，支持灵活的功能扩展、在线升级

无缝对接云管

AsterNOS利用简单易用的RESTAPI，可轻松让第三方的云平台/控制器快速纳管