随着新一代AI算力集群向高密度、大功率方向发展,GB300 NVL72整柜级部署对数据中心液冷基础设施提出了更高要求。面对整柜约140kW的设计功率,CDU(冷却液分配单元)究竟应该采用N+1还是N+N冗余?液冷系统交付时,保压、流量、冷启动测试又应该如何开展?
这些问题看似属于设备选型和现场调试,实际上涉及热负荷核算、系统架构设计、水力平衡、供电可靠性以及故障切换等多个工程环节。
亿维锐创围绕GB300 NVL72高密度液冷部署场景,从CDU冗余架构、关键参数计算到现场交付验收,梳理一套可落地的工程实施思路,为AI算力基础设施建设提供技术参考。
一、140kW整柜功率,CDU到底需要多大冷量?
在GB300 NVL72液冷系统设计中,首先需要明确一个概念:整柜输入功率不等于CDU需要承担的液冷负荷。
GB300 NVL72采用液冷与风冷相结合的混合散热架构。GPU、CPU、高带宽内存等核心高发热部件主要通过冷板液冷方式散热,而部分辅助电源及其他非液冷部件仍通过空气进行热交换。
因此,在前期方案设计中,需要将整柜总功率拆分为液冷负荷与风冷负荷,不能直接按照140kW整柜功率配置CDU。
以整柜设计功率140kW、液冷散热比例初步按90%估算:
液冷负荷计算:
140kW × 90% = 126kW
由此得到单柜约126kW的初步液冷负荷基准。
在实际工程选型中,还需要考虑管网阻力、换热效率、运行工况变化以及一定的设计裕量。假设初步采用20%的设计裕量:
126kW × 1.2 = 151.2kW
据此,单柜CDU有效制冷能力可以将150~160kW作为初步选型目标。
需要强调的是,90%的液冷比例和20%的设计裕量属于方案估算条件,并非所有GB300 NVL72项目统一适用的强制参数。最终制冷量应以服务器厂商提供的实际热负荷、CDU额定工况以及一次侧冷源条件为依据进行复核。
工程设计的关键,不是简单地把CDU冷量做大,而是让设备在真实运行工况下具备足够、稳定且可持续的换热能力。
二、CDU冗余架构:N+1还是N+N?
确定冷量需求之后,接下来就是CDU冗余架构的选择。
N+1和N+N虽然都属于高可靠性设计方案,但两者在故障隔离范围、设备配置、供电架构和建设成本方面存在明显区别。
1. N+1:兼顾可靠性与建设成本
N+1是指在满足系统设计负荷所需的N台设备之外,额外增加一台冗余设备。
当其中一台设备发生故障或需要维护时,备用设备投入运行,剩余设备仍能满足系统设计负荷。
在液冷系统中,N+1可以应用于不同层级:
l 泵组N+1: 主泵发生故障时,备用泵自动投入,维持设计流量和压差。
l CDU整机N+1: 单台CDU退出后,其余CDU仍能承担系统设计冷量。
l 电源N+1: 单路供电故障后,冗余供电路径维持关键设备运行。
需要注意,泵组N+1并不代表CDU整机具备N+1冗余。如果换热器、控制器或供电系统仍然存在单点故障,整个系统依然可能受到影响。
2. N+N:面向更高可用性要求的双系统架构
N+N通常意味着配置两套相互独立的冷却系统,每套系统均具备承担100%设计负荷的能力。
例如:
l A系统:独立循环泵组、换热器及控制系统。
l B系统:独立循环泵组、换热器及控制系统。
l 两套系统分别具备完整的设计冷量。
l 通过独立供电、管路隔离和控制逻辑降低共同故障风险。
当A系统发生故障时,B系统可以接管全部冷却负荷。
但真正有效的N+N,不只是多配置一套CDU,还需要对电源、冷源、管路、阀门、控制器及监控系统进行故障域隔离设计。
如果两套CDU最终共用同一条存在单点故障的供电线路或一次侧冷源,那么N+N的实际可靠性就会受到限制。
3. GB300 NVL72应该怎么选?
对于大多数兼顾投资成本和运行可靠性的AI算力部署项目,可以优先评估泵组N+1,并根据机房整体架构决定是否进一步配置CDU整机冗余。
| 对比维度 | N+1 | N+N |
| 冗余方式 | 增加一台备用设备 | 两套独立完整系统 |
| 单点故障防护 | 取决于冗余层级 | 可实现更高程度隔离 |
| 建设成本 | 相对较低 | 相对较高 |
| 占地需求 | 相对较小 | 相对较大 |
| 维护灵活性 | 较好 | 更好,但系统复杂 |
| 适用场景 | 常规高密度AI集群 | 较高可用性场景 |
亿维锐创建议:
对于单柜独立液冷部署,可以优先考虑集成式N+1泵组CDU;对于多柜集中供冷项目,应进一步评估排级或区域级CDU冗余;对于业务连续性要求较高、具备独立双路冷源和供电条件的项目,可以考虑整套N+N架构。
冗余设计应根据实际业务等级、故障恢复要求和投资预算综合确定,而不是简单追求设备数量。
三、流量与压差:决定液冷系统能否真正带走热量
CDU冷量达到设计要求,并不意味着整个液冷系统就一定能够稳定运行。
在实际工程中,循环泵的流量和扬程、管网沿程阻力、机柜内部压降以及冷却液物性,都会影响最终的换热效果。
以公开技术资料中的GB300 NVL72特定供液工况为参考:
| 二次侧供液温度 | 整柜流量 | 整柜压降 |
| 25℃ | 59 L/min | 2.3 psi |
| 30℃ | 71 L/min | 3.2 psi |
| 35℃ | 89 L/min | 4.9 psi |
| 40℃ | 119 L/min | 8.5 psi |
| 45℃ | 177 L/min | 18.4 psi |
注:以上为特定公开配置的参考参数,实际项目应以对应服务器型号、OEM技术规格及冷却液条件为准。
从数据可以看出,供液温度变化会影响整柜要求流量和压降。不能仅凭整柜140kW功率,使用通用经验公式确定泵组参数。
1. 核算真实换热能力
液冷系统的热量传递可以通过以下公式进行核算:
Q = ρ × cp × V × ΔT
其中:
Q:液体带走的热量;
ρ:冷却液密度;
cp:冷却液比热容;
V:体积流量;
ΔT:供回液温差。
如果系统采用PG25等丙二醇混合液,其密度、比热容和黏度均与纯水存在差异。
因此,泵组流量、扬程和换热能力必须结合实际冷却液浓度及工作温度计算,不能直接套用纯水参数。
2. 核查系统关键水力参数
CDU选型和管网设计阶段,建议重点核查:
l 二次侧设计流量;
l 机柜进出口压差;
l 管网沿程及局部阻力;
l 过滤器压降;
l 泵组工作点;
l 换热器一次侧和二次侧温差;
l 冷却液浓度及物性参数。
尤其需要注意:备用泵投入后,不仅要保证泵能够正常启动,还要保证系统在实际管网阻力下达到设计流量和压差。
冷量、流量、扬程和温差必须协同设计,才能真正保证GB300 NVL72满负载运行时的散热能力。
四、交付验收:保压、流量、冷启动三项测试怎么做?
液冷系统设计完成后,现场交付质量直接决定最终运行可靠性。
针对GB300 NVL72高密度液冷部署,建议将交付验收划分为三个核心阶段:液路密封性测试、水力性能测试和系统功能测试。
1. 保压测试:验证液路密封性
保压测试主要用于检查管道、焊口、法兰、阀门、快接头及其他连接部位是否存在泄漏。
建议按照以下步骤开展:
第一步:确定测试边界
明确一次侧、二次侧以及机柜内部液路的测试范围,区分不同设备和管路的允许承压能力。
第二步:检查管路状态
检查阀门、盲板、快接头及排气点,确认测试段具备测试条件。
第三步:缓慢充液和排气
按照批准的测试方案使用规定介质充液,排尽管路内部空气,避免残留空气影响测试结果。
第四步:分级升压
使用经过校准的压力表,按照管路设计文件和设备厂商规定的测试压力缓慢升压。
第五步:保压和巡检
达到规定压力后隔离测试段,按照规定时间进行保压,检查管路、接头、焊缝和阀门是否存在泄漏。
第六步:记录测试结果
记录初始压力、结束压力、保压时间、环境温度及介质温度,形成完整测试报告。
验收重点:
l 无可见泄漏;
l 无异常变形;
l 压力变化满足批准的测试标准;
l 测试仪表处于有效校准期;
l 测试记录完整可追溯。
需要特别强调,保压压力和时间不能采用统一经验值。不同管路、CDU换热器、服务器冷板及快接组件都有各自的承压限制,必须遵循对应设备的技术要求。
2. 流量测试:验证系统实际供液能力
流量测试的核心目标,是验证CDU在不同运行工况下能否持续向机柜提供满足要求的冷却液流量和压差。
建议在以下位置设置测试点:
l CDU二次侧总供液管;
l CDU二次侧回液管;
l 机柜进液端;
l 机柜回液端;
l 循环泵进出口;
l 过滤器前后端。
重点监测流量、温度、压力及压差等参数。
建议设置五种测试工况:
| 测试工况 | 测试内容 | 验收重点 |
| 低流量运行 | 低负荷循环 | 排气、泄漏及运行稳定性 |
| 设计流量运行 | 额定工况测试 | 流量和压差达标 |
| 高流量运行 | 高负荷水力测试 | 泵组及管网能力 |
| 单泵故障 | 模拟主泵退出 | 备用泵自动投入 |
| 阀门切换 | 模拟运行状态变化 | 流量和压力稳定 |
其中,单泵故障测试是验证N+1冗余能力的重要环节。
例如,采用两用一备泵组时,应在符合测试安全条件的情况下模拟其中一台运行泵故障,检查备用泵是否能够自动投入,以及剩余泵组是否仍然满足设计流量和压差要求。
不能仅以备用泵成功启动作为验收合格依据。
还应重点记录:
l 故障发生时间;
l 备用泵启动时间;
l 流量恢复时间;
l 最低供液压力;
l 流量波动范围;
l 故障报警及恢复记录。
最终应根据OEM要求和设计文件确定各项参数的合格判定标准。
3. 冷启动测试:验证系统从冷态到稳定运行的能力
冷启动测试主要验证CDU从停止状态恢复运行时,整个液冷系统的启动顺序、供液稳定性和控制逻辑是否正常。
建议分为四个步骤。
第一步:启动前检查
l 一次侧冷源具备供水条件;
l 二次侧管路充液、排气完成;
l 储液罐液位正常;
l 过滤器及阀门状态正常;
l 温度、压力、流量传感器正常;
l 水浸检测及保护装置正常;
l 主备泵、电气及控制系统状态正常。
第二步:CDU空载启动
启动控制系统,确认阀门状态和控制逻辑正常,再启动循环泵。
重点检查:
l 泵组运行频率;
l 供回液压力;
l 系统实际流量;
l 供液温度;
l 管路振动及异常噪声;
l 是否存在渗漏和报警。
第三步:分级加载测试
建议按照约25%、50%、100%的设计热负荷进行分级测试。
| 测试阶段 | 负载目标 | 主要检查内容 |
| 第一阶段 | 25% | 启动稳定性、基础流量 |
| 第二阶段 | 50% | 温度、压差、泵组运行 |
| 第三阶段 | 100% | 满负荷换热及持续运行能力 |
每个阶段都应待系统达到规定的稳定条件后,再进入下一阶段。
满负荷测试时,需要持续监测机柜供液温度、回液温度、流量、压差、泵组运行状态及服务器关键部件温度,确认各项参数处于OEM规定范围。
第四步:故障模拟和恢复测试
根据项目批准的测试方案,模拟主泵故障、供电切换、低流量、高温及水浸报警等情况。
重点验证:
l 故障检测是否及时;
l 备用设备是否正常投入;
l 报警信息是否准确;
l 联锁保护是否有效;
l 系统恢复是否符合预定控制逻辑。
需要注意,故障注入必须在设备厂商认可的条件下进行,不应通过直接关闭所有冷却泵或切断服务器冷却水的方式进行危险测试。
五、建立标准化液冷交付验收体系
为了避免现场验收只关注设备是否能够启动,建议建立覆盖设备、管路、水力性能、控制逻辑及满负荷运行的完整验收体系。
| 验收类别 | 关键验收项目 | 交付资料 |
| 外观检查 | 管路、阀门、接头 | 外观检查记录 |
| 保压测试 | 液路密封性 | 保压测试报告 |
| 水质检查 | 冷却液浓度、洁净度 | 水质检测报告 |
| 流量测试 | 总流量、支路流量 | 流量测试记录 |
| 压差测试 | 供回液压差 | 压力测试记录 |
| 温度测试 | 供回液温度 | 温度测试记录 |
| 冗余测试 | 主备泵切换 | 冗余测试报告 |
| 冷启动测试 | 冷态启动、稳定运行 | 启动测试记录 |
| 满载测试 | 设计热负荷运行 | 性能测试报告 |
| 联锁测试 | 低流量、高温、水浸 | 联锁测试报告 |
通过标准化的测试流程,可以将液冷系统的设计参数与实际交付结果进行对应,确保系统不仅满足设备出厂要求,也能够满足现场实际运行需求。
六、从单柜到机房:液冷系统还需要核查哪些条件?
除了CDU本身,GB300 NVL72液冷系统的可靠性还受到机房整体基础设施的影响。
在最终确定冗余架构之前,建议重点核查以下三个方面。
1. 一次侧冷源与供电条件
核查冷冻水供水温度、回水温度、供水压力、可用流量以及冷源设备的冗余能力。
同时调取机房配电单线图,确认CDU主备设备是否具备独立供电条件,避免机械层面的N+N设计最终受到同一电源故障影响。
2. 二次侧管网与水力平衡
核查管道承压等级、管径、沿程阻力、阀门配置、过滤器及快接组件。
对于多机柜集中供冷项目,还应进行支路水力平衡设计,确保不同机柜在同时运行时都能获得满足要求的流量。
3. 控制系统与故障切换逻辑
核查PLC控制逻辑、压力传感器、温度传感器、泵组切换策略及报警联锁机制。
尤其要确认主泵退出后,备用泵投入的时间是否满足服务器允许的冷却中断时间要求。
只有将冷源、供电、管路和控制系统纳入整体设计,才能真正提高高密度AI算力集群的液冷运行可靠性。
七、亿维锐创:为AI算力基础设施提供液冷工程技术支持
面对GB300 NVL72等高密度AI算力设备的部署需求,液冷系统已经不再是单一设备采购问题,而是涉及热负荷分析、CDU选型、管网设计、系统冗余及现场交付的综合工程问题。
亿维锐创面向AI基础设施建设场景,提供液冷系统工程设计咨询与技术方案服务,围绕以下环节开展技术支持:
01 热负荷分析与CDU选型
结合服务器实际功率、液冷散热比例、供液温度及换热工况,核算系统真实冷量需求,提供CDU有效冷量及泵组参数选型建议。
02 液冷系统冗余架构设计
围绕泵组、换热器、CDU设备、供电及控制系统,开展N+1与N+N冗余架构分析,明确故障隔离边界与运行可靠性要求。
03 液冷管网与水力性能核算
结合机柜末端流量、压差、管网阻力及冷却液物性,开展水力参数核算,保障系统在设计工况下具备稳定的供液能力。
04 现场调试与交付验收
建立覆盖保压测试、流量测试、冷启动测试、冗余切换及满负荷运行的验收方案,形成完整的测试记录与交付资料。
从前期设计到现场验收,亿维锐创致力于为AI算力基础设施建设提供更加系统、规范的工程技术支持。
GB300 NVL72整柜140kW级液冷部署,对CDU冷量配置、冗余架构和现场交付提出了更高要求。
真正可靠的液冷系统,不仅要做到冷量充足,更要确保流量匹配、压力稳定、故障可切换、运行可监测、交付可验证。
从126kW初步液冷负荷核算,到N+1与N+N分层冗余设计,再到保压、流量和冷启动测试,每一个环节都关系到AI算力集群的长期稳定运行。
亿维锐创,以系统化工程设计与标准化交付验收,为高密度AI算力基础设施建设提供技术支撑。
参考资料
1.Lenovo Press. Lenovo NVIDIA GB300 NVL72 Rack Scale AI Product Guide. Lenovo Press.
2.Lenovo. Environmental Specifications – GB300 NVL72. Lenovo Documentation.
3.Supermicro. NVIDIA GB300 NVL72 Datasheet. Supermicro.f
4.ETSI. TS 103 586 V1.1.1: Environmental Engineering – Liquid Cooling Solutions for ICT Infrastructure Equipment.
5.Open Compute Project(OCP). Guidelines for Pre-Commission Preparation of Technology Cooling System (TCS) Row Manifolds. 2025.
6.Lawrence Berkeley National Laboratory. Systematic Approach for Universal Commissioning Plan for Liquid-Cooled Systems. 2015.
