8000张显卡日均崩溃近千次：Meta与英伟达如何把超算中断率砍掉99%

买显卡只要刷卡，但把几万张显卡拴在一起训大模型，简直是一场持续不断的灾难。

Meta 在俄亥俄州建了一个叫做普罗米修斯（Prometheus）的超级计算集群，目标奔着上百万张卡去。 但在刚开始训下一代模型 Muse Wonder 的时候，现场的工程团队差点崩溃。 在最严重的时候，仅仅 8000 张显卡，一天就能发生近 1000 次训练中断。

一天 1000 次中断，这是什么概念？ 算下来平均不到两分钟就崩一次。 显卡明明全亮着灯，电表疯狂在转，模型训练却寸步难行。

平时我们用电脑，一张显卡跑几年都不会死机。 几万张显卡凑在一起，怎么就脆弱成了玻璃？ 关键就在超大规模的分布式训练机制。 大模型参数太大了，必须拆开切碎，扔给几万张卡同时算，它们之间得靠超高速网络分秒不差地同步每一轮计算的数据。 这就形成了一个极端的同步链条。 哪怕单张卡、单个光纤模块的可靠性高达 99.99%，一旦乘以几万张显卡、几十万根光纤和无数固件驱动，报错就成了每时每刻的必然事件。 只要其中任何一张卡的显存报一个错误，或者一根网络连接突然抖动，整套训练任务就会瞬间全部卡死。 木桶效应在这里被放大了几万倍：只要有一张卡掉链子，几万张卡全得原地歇业。

更折磨人的是中断之后的代价。 训练一旦卡死，损失的绝不只是报错的那几秒钟。 监控系统得先找出到底是哪台机器出了暗病，把它隔离出去，换上备用节点。 接着，整个集群必须从上一次保存的检查点，把成百上千吉字节的模型参数重新读进显存。 在故障发生前白白计算的那十几分钟，彻底作废。 如果你的检查点每 20 分钟存一次，而集群平均 15 分钟就中断一次，那模型永远也训不出来。 显卡一直在满载发烫，俄亥俄机房的电费几百万美元地烧，有效产出却是零。

这就是为什么搞基础设施的工程师最看重一个指标：有效算力占比（goodput）。 它衡量的是在挂钟流逝的时间里，到底有多少比例是在真正推着模型往前走，而不是把时间浪费在崩溃、重启和重读进度上。 平时科技新闻的头条都在比谁买了十万张显卡。 但那只是刷卡买来的账面数字。 真正能把模型训出来的，看的是你的有效算力能保住多少。

怎么把这个泥潭给拉回来？ Meta 甚至直接把英伟达的工程师拉进了机房。 双方工程团队做的事情一点都不炫酷，全是在最底层的泥潭里抠细节。 他们排查了每一个低级固件的异常，重写了高带宽显存（HBM）的纠错与恢复逻辑，把以往会直接引发死机的瞬时软错误就地消化掉。 同时上线了全自动的故障自愈机制，一旦有节点异常，系统秒级切到备用节点，不需要人工半夜爬起来排障； 连保存训练进度的动作，也改成了后台异步写入，不再让几万张卡停下来干等硬盘。

这套硬骨头啃完之后，数字的变化相当硬核。 普罗米修斯集群的训练中断次数，直接从最初的峰值跌掉了 99%。 每次中断之间的平均无故障运行时间（MTBI），一路拉升到了 4.7 万个 GPU 小时。 在随后的全集群固件升级落地后，这个数字更是跨过了 5.4 万个 GPU 小时。 落到最终的训练指标上：Meta 训 Muse Wonder 模型时，预训练阶段的有效算力占比超过了 85%，强化学习阶段更是达到了 90% 以上。

买显卡能上头条，让显卡干出活来才是真功夫。 当全世界都在为几百亿美元的算力采购数字咂舌时， 几十亿美元的设备能不能交出成果，全看工程师在固件补丁、显存容错、网络拓扑和自愈系统上能啃下多深。 算力不看你买了多少张卡。 算得出来的，才叫算力。