去年冬天,我跟着吉之星测试团队去了华北某在建的智算中心。项目总投资超过20亿元,规划了8000个机柜,客户催着要上线。
验收那天,现场却吵了起来。
测试团队拉出了一份报告:GPU集群在混合负载下,PUE波动超过0.18,部分区域甚至冲到了1.6。建设方不服:“单跑训练任务时PUE只有1.25,你们这是故意找茬。”
问题出在哪?就出在“混合负载”这四个字上。
传统数据中心验收,习惯跑单一负载:要么CPU满载,要么存储满写。但智算中心不一样。
真实业务场景里,同一个机房内,可能有三种以上完全不同的负载在同时运行:
这三种负载叠加在一起,供电、散热、网络的压力不是简单相加,而是相互耦合、相互放大。
单跑训练时,散热系统还能应对;一旦推理任务开始抢资源,GPU利用率忽高忽低,功率波动叠加,局部热点瞬间形成。这时候再看PUE,才是真实的能效表现。
不是看某一时刻的PUE值,而是看波动幅度。
在混合负载下,我们要求PUE波动控制在±0.05以内。超过这个范围,说明制冷系统响应跟不上负载变化,存在局部过热风险。
这个指标衡量的是“忙闲不均”的程度。
理想状态下,所有GPU的利用率应该在一个相对窄的区间内波动。如果方差过大,说明任务调度有问题,部分GPU在空转,部分在过载——整体算力被浪费了。
混合负载下,存储网络和参数同步网络会同时承压。
我们关注的是:当网络出现瞬时拥塞后,系统需要多长时间恢复到正常吞吐。这个时间超过200毫秒,就会影响分布式训练的效率。
吉之星在智算中心测试领域积累了一套自己的方法论。
第一,自研混合负载模拟平台。 我们不是简单地跑几个Benchmark,而是通过容器化技术,同时注入训练、推理、数据预处理三类负载,并且可以精确控制每一类的比例和波动模式。
第二,动态能效验证系统。 在测试区域部署高密度传感器,每秒采集一次温度、功率、流量数据,实时计算PUE和局部热点指数。一旦发现异常波动,系统自动记录并触发告警。
第三,自动化测试流程。 从负载注入、数据采集到报告生成,全流程自动化。一个8000机柜规模的智算中心,完整混合负载测试可以在72小时内完成,比传统人工测试效率提升4倍以上。
目前,吉之星已为国内多个大型智算中心提供了交付验收测试服务,累计测试机柜超过3万个。
有人问:自动化测试是不是为了省人力?
不完全是。自动化的核心价值在于可重复性和时序精度。
人工操作很难保证每次负载注入的时间点完全一致,更难在毫秒级捕捉PUE的瞬态波动。而自动化系统可以做到:第1秒注入训练负载,第3.5秒叠加推理请求,第7秒触发存储突发——每次测试都一模一样。
只有这样,不同批次、不同区域的测试结果才有可比性,验收结论才站得住脚。
智算中心的交付验收,正在从“通断电测试”走向“真实业务模拟”。
混合负载测试不是刁难建设方,而是对投资人负责。一个8000机柜的智算中心,PUE每高出0.1,一年电费多出上千万元。把问题暴露在验收阶段,比上线后天天救火划算得多。
未来,随着液冷、高压直流、算力调度等技术的成熟,混合负载测试还会引入更多变量。吉之星也在持续迭代测试平台,目标只有一个:让每一瓦电、每一算力,都花在刀刃上。