深度解读AI 与大模型generatedpublished

每吉瓦机房吞下400亿美元:拆解黄仁勋如何用整柜工程吃透AI资本开支

机制

建一座耗电 100 万千瓦的 AI 数据中心,英伟达能从里面切走多少钱? 几年前大约是 180 亿美元。 现在直接翻倍,冲到了 400 亿美元以上。 整座数据中心如果造价 500 亿美元,八成左右的预算,最后全进了英伟达一家的口袋。

这笔账是怎么算出来的? 过去大家建机房,算的是占了多少平米、买了多少个机柜、装了多少台服务器。 传统的通用机房,100 万千瓦的电力配额,投个 50 亿美元就能填满。 但跑大模型的大机房不一样。 现在整个行业最硬的一堵物理高墙,是电力。 变压器排队要等三年,电网审批排成长队,电成了全行业最紧缺的指标。 科技巨头费尽力气抢到 100 万千瓦的电力配额,每天一睁眼最焦虑的事只有一件: 这 100 万千瓦的电烧下去,怎样才能挤出最多的有效算力?

这就是黄仁勋这几年做的事情。 他在播客访谈里说了这么一句话: 英伟达过去是一家显卡公司。 后来成了全球最大、增速最快的网络设备公司。 现在马上要成为全球最大、增速最快的中央处理器公司。

很多人以为英伟达只是卖 GPU 芯片的。 把芯片做成板卡,插在戴尔或者超微的服务器里,再接上思科的交换机。 如果只是这么卖,英伟达每吉瓦只能赚走显卡的钱,大头全被其他硬件厂商瓜分了。 黄仁勋把这套分工全掀了。

先是吃掉网络。 2020 年,英伟达花了 69 亿美元收购 Mellanox。 当时不少人纳闷:一家做显卡的公司,买做光纤通信和交换机的干什么? 到了几万张显卡并联训练的时候,大家才看明白。 大模型分布式训练最怕的不是单张卡跑得慢,怕的是卡和卡之间传输数据卡壳。 只要网络出现延迟或丢包,几万张昂贵的显卡就得原地停下来等,白白消耗高昂的电费。 英伟达拿出自己的 InfiniBand 和 Spectrum-X 交换机,把通信延迟压到了极限。 原本该付给传统网络设备商的百亿美元预算,顺理成章划进了英伟达的账本。

接着吃掉中央处理器。 过去 AI 服务器里都要配两颗英特尔或者 AMD 的 x86 处理器。 处理器和显卡之间走普通的通信总线,带宽窄,传数据慢得像走乡间小路。 英伟达转头自己做基于 ARM 架构的 Grace CPU,后面又公布了 Vera CPU。 用自家的片间互联技术把处理器和显卡死死焊在一起,数据通道拉到了每秒 900 GB。 现在客户买新架构机架,根本用不着再去挑别人的处理器,整套计算单元全由英伟达打包。

最后连机柜也一并承包了。 比如现在的旗舰产品 GB200 NVL72。 它不再是插在机箱里的一块显卡。 这是一整台重达一吨多、配齐精密液冷管道和铜缆背板的独立机架。 里面整整齐齐塞进 72 块 GPU 和 36 颗 Grace CPU。 内部用两英里长的无损铜缆直接打通,整座机柜跑起来就像一块超大号的单一芯片。 散热、供电、网线、芯片、存储加速到安全系统,全由英伟达一手包办。

这么一套组合拳下来,结果是什么? 在传统云计算巨头那里,微软、亚马逊、谷歌、Meta,英伟达吃掉了它们大约 40% 的资本开支。 而在新兴的算力租赁公司和私有云机房里,英伟达吃掉了高达 80% 的资本开支。 这意味着那些专门做算力租赁的新公司,每从银行和风投手里借来一块钱,有八毛钱是直接给英伟达转账的。 要知道仅仅六年前,英伟达在全球数据中心资本开支里的份额,还只有个位数。 如今这两拨客户各自占了英伟达一半的业务,而且每年都在成倍增长。

大家总在争论科技巨头每年几百亿美元的资本开支会不会见顶。 但站在黄仁勋的账本上看,逻辑极其简单: 既然物理世界能给出的电量配额是锁死的,那就在每 100 万千瓦的电力硬顶里,把所有能插进机柜的零部件,全都换成英伟达自己的产品。 从卖显卡的零件供应商,变成了承包整座 AI 工厂的总包商。 当机房里所有的网线、处理器、水冷和芯片都被焊进同一套封闭体系,数据中心的算账单位,自然也就变成了英伟达说了算的标价牌。 https://x.com/wallstengine/status/2111507532141453408/video/1

同领域解读 / AI & LLMS

查看全部「AI 与大模型」解读 →

导出 / EXPORT

订阅 · SUBSCRIBE

每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。

不追踪邮件打开与邮件链接点击,一键退订。 或用 RSS · 详情