科技·via @mubei·83.3 分·P84
2030年,全美国五分之一的电,可能只够喂养一个东西。 一个超级AI训练集群。 前OpenAI研究员Leopold As…
2030年,全美国五分之一的电,可能只够喂养一个东西。 一个超级AI训练集群。
前OpenAI研究员Leopold Aschenbrenner推演了一条暴力的增长曲线。 过去十年,最大的AI系统训练算力,每年稳定跃升半个数量级。 顺着这个斜率往前推,数字的膨胀速度极度夸张。
2022年,GPT-4预训练完毕。 当时用了约2.5万张A100显卡。 造价大概5亿美元,耗电10兆瓦。
到了2024年,集群规模进化到10万张H100等效算力。 耗电飙到100兆瓦,造价几十亿美元。
再往前走两年,也就是2026年。 100万张H100,耗电直接干到1吉瓦。 这相当于专门为了一个服务器集群,配上一整座大型核反应堆,或者包下整个胡佛水坝的发电量。 单体造价达到几百亿美元。
2028年,1000万张H100。 耗电10吉瓦。 这一个机房消耗的能源,比美国大多数州全州的用电量还要多。 造价数千亿美元。
等到2030年,真正的巨兽成型。 1亿张H100等效算力,耗电100吉瓦。 这会一口吞掉全美20%以上的总发电量。 建这么一个集群,需要1万亿美元。
最致命的是,这仅仅是“一个最大的训练集群”的胃口。 等大模型产品全面铺开,海量并发的推理端才是真正的用电无底洞。 而美国的电力生产规模,过去几十年几乎画成了一条平线,根本没有实质性增长。
算力霸权的限制条件已经浮出水面。 硅谷的代码写得再快,最终也要受制于物理世界的发电机组和老旧电网。