深度解读AI 与大模型generatedpublished

靶场与午餐肉冷库塞进 42 万张芯片:马斯克 Colossus 2 算力基建背后的网络分流密码

机制

警察练枪的靶场,和存午餐肉的仓库。 这两个八竿子打不着的地方,现在被塞进去了 42 万张世界上最顶级的显卡。 硬件总价值超过 350 亿美元。

这是马斯克刚刚公开的 Colossus 2 超级算力基地最新扩建。 两座机房的名字起得非常随意。 一个叫 Gun Range,也就是靶场。 一个叫 Spam,也就是世棒午餐肉。 马斯克在社交平台上发文说,自己半夜巡视了一遍工地,天亮又巡视了一遍。 整个扩建工程由 SpaceX 的团队和承包商直接推进。

大家看到这两个名字,第一反应大概都是笑出声: 搞前沿人工智能的超级算力中心,怎么会跟靶场和午餐肉扯上关系? 答案非常直接: 因为这两个地方,原本真的就是一个警察训练靶场,和一家荷美尔公司的午餐肉仓储库。

造一座能容纳几十万张芯片的超级数据中心,正常需要多久? 从买地、做环评、向电网申请变电站,再到打地基、盖厂房,传统云计算大厂的标准流程通常要三到五年。 但在如今的大模型军备竞赛里,三到五年黄花菜都凉了。 马斯克的搞法从来不按常理出牌。 当年做第一期 Colossus 的时候,他就带着团队直接买下一座废弃的伊莱克斯冰箱厂,只用了 122 天,就把 10 万张 H100 显卡全部点亮上线。 这次扩建 Colossus 2,用的还是同一套打法: 哪里有现成的工业大跨度厂房,哪里能直接接入超高压电网,就直接买下来。 把里面的隔断推平,加固地面承重,拉上液冷管道,运进机柜,直接通电开工。 这也是为什么这项任务直接交给了 SpaceX 的工程团队。 在得克萨斯星舰基地常年搞高压管道、液氧加注和火箭发射台的人,干起重型工业基建来,动作节奏完全不一样。

不过,如果仅仅是改建厂房速度快,还不算最硬核的工程看点。 这次公开的数据里,藏着一个非常明确的系统设计: 同样是装满了 GB300 顶级芯片,为什么两座机房的网络配置完全不同?

先看靶场机房。 这里装了整整 22 万张 GB300 芯片,专门用来做模型训练,预计 11 月底上线。 它跟基地现有的两座机房 Macroharder 和 Minihard 一样,每一张芯片都配备了 800G 的超高速网卡。 再看午餐肉机房。 这里装了大约 20 万张 GB300 芯片,预计 12 月上线,但它专门用来做模型推理。 它的网络架构做了大幅度精简,用的光纤数量少得多。

同样是昂贵的高性能芯片,为什么训练要拉满 800G 网卡,推理却可以把网络大幅简化? 这其实打在了大模型物理架构的真正分水岭上。

很多人以为,堆算力就是把几十万张卡连上电一起算。 在训练环节,事情完全不是这样。 训练一个几千亿参数的巨型基座模型,你不能让 22 万张芯片各自为政。 它们必须在物理上表现得像同一颗巨大的超级大脑。 模型切分在几十万张卡上,每一个批次计算完成,所有的卡都必须把各自算出来的梯度,在全集群范围内完整同步一次。 这个过程在工程上叫全规约同步。 这意味着,每隔几十毫秒,22 万张卡就要同时在网络里疯狂交换海量数据。 更要命的是木桶效应。 如果全场有一根光纤抖动,或者一张网卡延迟高了几个微秒,其余 219999 张芯片就只能在显存里干等。 芯片算得再快也没用,系统整体的吞吐量全被网络延迟锁死。 所以训练集群的真正瓶颈其实卡在通信拓扑上,芯片核心大部分时间都在等网络。 为了让 22 万张卡步调一致,你必须用 800G 的网卡、高密度的无阻塞胖树网络交换机,以及成千上万公里的光纤,把机柜全部织成一张紧密的大网。 光是这套网络设备的成本,往往就能占到机房总预算的很大一部分。

但推理完全是另外一种状态。 当模型训练完成,参数已经彻底固定,不需要再往回传导梯度了。 这个时候,成千上万个用户或者智能体发来请求,任务天然是离散的。 只要在一台机柜内部,靠超高速的本地总线把模型跑起来,就能独立接待一批用户的提问。 不同的机房、不同的机柜之间,根本不需要每隔几毫秒就跨大厅同步几千亿参数的权重。 既然不需要全集群范围的毫秒级同步,跨机柜的网络要求就直接降维了。 机房不需要堆满最昂贵的全互联交换机,也不需要拉上漫山遍野的光纤。 网络架构一精简,省下来的不仅是极其昂贵的光模块成本,更省出了宝贵的电力和机柜空间。 在同样一块场地里,你可以塞进更多计算卡,专门用来承载海量的并发调用。

把现有的 Macroharder、Minihard,再加上即将上线的 Gun Range 和 Spam 拼在一起,整个 Colossus 2 基地的 GB300 芯片总量将直奔 86 万张。 整体算力耗电规模已经逼近吉瓦级别,相当于一座中型城市的供电负荷。

当 AI 竞赛进入这个阶段,胜负手早就不只停留在算法公式的微调上。 从电网负荷、变压器供应、旧厂房改造,再到训练与推理集群在网络拓扑上的精打细算。 这已经是一场全方位的重工业物理战了。

同领域解读 / AI & LLMS

查看全部「AI 与大模型」解读 →

规范引用 / CANONICAL CITATION

靶场与午餐肉冷库塞进 42 万张芯片:马斯克 Colossus 2 算力基建背后的网络分流密码 — 墓碑科技 MUBEITECH(https://mubeitech.com/deep/mb-20261101-488c24)

导出 / EXPORT

订阅 · SUBSCRIBE

每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。

不追踪邮件打开与邮件链接点击,一键退订。 或用 RSS · 详情