智算中心网络架构白皮书(2023).pdfVIP

引言

随着AI技术的逐步成熟和应用场景的不断丰富，人工智能产业正在迅速发展，AI相关的产品与服务也在各行业中落地和

普及。企业通过人工智能技术提高生产力，进行数字智能化新范式转型的需求也更加迫切。人工智能技术目前已被广泛应

用于智慧金融、智能家居、智能医疗、智能交通、智能制造等领域。

大模型技术因其良好的通用性与泛化性，显著降低了人工智能应用的门槛，其溢出效应正在加速推进新一轮的科技革命和

社会产业的变革。近期，ChatGPT、文心一言等生成式人工智能应用的出现，使大模型的发展成为AI领域最重要的热点

趋势，越来越多的科技巨头竞相推出千亿、万亿参数的大模型。而训练超大参数规模的大模型也给智能计算基础设施带来

了前所未有的挑战。大模型的训练过程需要数千张GPU卡协同计算数周或数月，这就要求智能计算网络能够提供更强大

的性能和更高的稳定性与可靠性。因此，提供一种高速、低延迟且可扩展的网络互联方案成为了智能计算领域的重要课题。

通常，大中型政务、金融及企业客户对网络安全与数据隐私保护有着更严格的要求，需要通过私有云建设模式在自有数据

中心中构建自主可控的智能计算资源池，为人工智能的创新服务提供底层算力支持。智算网络作为智算中心基础设施的重

要组成部分，其选型、设计和建设方案是非常关键的环节，网络架构设计的合理性直接影响智算集群的性能、可靠性与稳

定性。智算网络的选型和建设阶段的典型问题包括：

1.智算网络是复用当前的TCP/IP通用网络的基础设施，还是新建一张专用的高性能网络？

2.智算网络技术方案采用InfiniBand还是RoCE？

3.智算网络如何进行运维和管理？

4.智算网络是否具备多租户隔离能力以实现对内和对外的运营？

本白皮书将分析智算业务对网络的核心需求，深入介绍智算网络的架构设计以及智算中心高性能网络的运维和运营管理方

案，并结合典型实践，提供智算网络选型建议，为客户建设面向大模型的智算中心提供网络建设、运维和运营参考。

智算中心网络架构白皮书

目录

CONTENTS

0102

智算业务对网络的核心需求智算网络方案选型

1.1智算业务关键应用场景和案例012.1InfiniBand网络介绍07

1.2智算业务对网络的关键要求032.2RoCEv2网络介绍12

2.3InfiniBand和RoCEv2网络17

方案对比

0304

物理网络架构设计智算高性能网络运维管理

3.1传统云网络架构承载智算业务存194.1可视化网管系统29

在的挑战4.2高精度流量采集31

3.2智算网络架构204.3数据可视化展示32

3.3智算网络可容纳的GPU卡的规模224.4智能化33

3.4物理网络设计典型实践254.5高性能网络运维典型实践33

0506

智算高性能网络运营管理总结和展望

5.1云平台产品化的多租户能力AI-VPC35总结和展望40

5.2In