Colossus 2 扩建 42 万张芯片：为什么推理机房的光纤连训练机房的一半都不到？

两个月内，把 42 万张英伟达顶级 AI 芯片全部通电点亮。 光这批硬件的价值，就在 250 亿到 350 亿美元之间。 这是马斯克在孟菲斯的超级算力中心 Colossus 2 正在干的事。 有意思的是各个机房的名字。 最先建好的两个大厅，一个叫 Macroharder，一个叫 Minihard，专门用来嘲弄微软。 接下来两个月要投产的两个新大厅，画风直接变了。 一个叫靶场 Gun Range。 另一个叫午餐肉 Spam。 为什么叫午餐肉？ 因为那栋厂房以前是荷美尔 Hormel 的食品仓库，专门放午餐肉罐头。 靶场更简单，那块地原本是当地警察局的射击训练场。 起外号归起外号，这两个大厅在工程上完全是两回事。 靶场塞了 22 万张英伟达 GB300 芯片，11 月底上线，专门用来训练大模型。 午餐肉大厅塞了 20 万张同款芯片，12 月上线，专门用来做推理。 同样是几十万张顶级芯片插进机架，训练和推理有什么不一样？ 最大的差别在光纤。 训练大模型，像全班几十万人坐在一个大阶梯教室里做同一套试卷。 每一张芯片算出来的参数和梯度，必须随时跟所有人对齐。 只要有一张芯片卡顿，或者一根网线丢包，全场几十万张芯片就得原地干等着。 这种延迟在工程上叫尾延迟，多拖一秒都是巨额的电费浪费。 所以在靶场里，每张芯片都必须配满 800G 的超高速网卡。 天花板和机架之间，拉满了密密麻麻的高密度光纤。 必须保证这 22 万张芯片无论怎么互相通信，网络都不堵塞。 午餐肉大厅就完全是另一种工作模式了。 推理是什么？ 推理就是用户在手机上问问题，AI 实时给出答案。 这不需要全班合力攻克一道大题，更像银行大厅的便民服务窗口。 你问你的天气，他查他的代码。 每个小窗口分到几张芯片，就能独立把面前这个用户的问题答完。 它们根本不需要站起来，跨过整个机房去问隔壁窗口在聊什么。 既然不需要全员随时开会，那套复杂的全互联网络就用不上了。 午餐肉大厅的光纤用量，连靶场的一半都不到。 少拉一半光纤，省下的可不只是几千万美元的线缆钱。 省出来的是最要命的时间。 网络拓扑越简单，走线越快，测试周期就能缩短好几周。 机柜推进去，网线一插，通电就能开跑。 很多人平时聊 AI 竞赛，眼睛总盯着谁家发了新模型、测试跑分涨了几分。 但真到了工程落地的水面下，拼的全是极其野蛮的土木、电力和拉光纤速度。 变电站要抢先通电，天然气轮机要在隔壁轰鸣，几十万根光纤要在几天里插完。 把 42 万张顶级芯片在六十天里塞进厂房、接通冷水管、通电点亮。 SpaceX 和团队在孟菲斯的干法，就像工期在昨天就已经截止了一样。