2024智算中心液冷架构探讨白皮书.pptx

智算中心液冷架构探讨

第133号白皮书

能源管理研究中心

作者：PaulLin

RobertBunger

VictorAvelar

摘要

许多用于训练大型语言模型（LLM）和推理工作负载的配备了加速器（如GPU）的人工智能服务器会产生足够的热量，因此需要采用液冷进行冷却。这些服务器配备了输入输出管道，并且需要一个由歧管

（Manifolds）、冷却分配单元（CDUs）和室外散热机组组成的生态系统。针对六种适用于液冷的常见散热架构，我们提供指南以选出最符合您的人工智能服务器或集群的架构。

为本白皮书评分★★★★★

1.服务器内部的热捕获

利用液体从IT组件中捕获热量。这种液体可以是与元器件直接接触的绝缘液（通常是油），也可以是流经固定在发热元器件上冷板的制冷剂或水。虽然这是液冷架构的重要组成部分，但不在本白皮书讨论范围之内。

2.CDU类型

如前所述，CDU是一种将IT流体回路（TCS）与制冷系统其余部分隔离的系统。CDU通常以单机柜形式存在，内部集成了所有部件。它们执行下文介绍的五大功能。在介绍CDU类型之前，了解这些功能非常重要。

•温度控制—CDU精确控制TCS回路中的流体温度。TCS供液温度由IT供应商

确定，通常取决于加速器和处理器的最高壳体温度，以及所使用的液冷解决方案。

•流量控制—为了带走芯片所产生的热量，CDU必须能够通过机柜歧管

（manifolds）、快接头和冷板为所支持的所有服务器和机柜供应足够的流量。浸没式液冷柜体也需要在服务器之间保持绝缘液的流动。

•压力控制—CDU管理压力时需要考虑两个方面。首先是系统允许的最大压力，其次是提供所需流量的压差。TCS通常在正压下运行，但也有CDU可以通过吸

我们建议一种液冷架构从根本上应该通过以下三个要素进行描述：

1.服务器内部的热捕获（不在本白皮书讨论范围之内）

2.CDU类型

3.将热量排至室外环境的方法

图1中标出了这三个要素，下文将对其进行简要介绍。

图1

数据中心液冷架构简化视图

数据来源：ASHRAE，液冷服务器：通用设计、部件和流程,第10页

施耐德电气——能源管理研究中心第110号白皮书版本23

智算中心液冷架构探讨

设施水系统(FWS)

冷却水系统(CWS)

服务器

冷却塔

▲

机柜

机柜

3

1

1

施耐德电气——能源管理研究中心第110号白皮书版本24

吮的方式（通常称为“负压”4）泵送流体，以消除TCS的漏液风险。这种功能通常被称为防漏系统（LPS）。

•流体处理—与设施系统相比，TCS对流体的过滤和化学成分要求更为严格。对于水基TCS，丙二醇水溶液是一种常用的流体，用于防止微生物生长和保持水质。

•热交换和隔离—将TCS中的热量传导出去是CDU的基本功能之一。此外，它还必须将TCS回路中的流体与制冷系统其余部分隔离开来5。

CDU主要由泵、热交换器、过滤系统和用于执行这些功能的控制设备组成。在最终确定CDU

（例如，控制器、过滤器类型等）时，会涉及到许多详细的属性。然而，在为设施选择合适的液冷架构时，并不需要确定所有这些属性。仅需通过确定CDU的关键属性，我们就可以简化这一过程。关键属性指的是，如果选择错误，这些属性会迫使您重新更改基本架构，从而浪费花在细节设计上的时间和精力。

我们认为，CDU类型必须基于两个关键属性：

•热交换类型（液体-空气、液体-液体等）

•CDU的容量和外形尺寸（机柜内安装式、落地式）

接下来我们将详细介绍每种属性。

热交换类型

液冷行业存在六种热交换类型：

•液体-空气(L2A)—TCS流体回路热量被泵送到盘管（即散热器），热量直接排入数据中心的空气中。

•液体-液体(L2L)—TCS流体回路热量被排至设施水系统。

•制冷剂-空气(R2A)—两相