单次训练一千亿美元、电力对标核电站:微软苏莱曼揭秘顶级大模型为何变成重工业
训一个人工智能模型,要花掉一千亿美元? 有没有搞错? 一千亿美元是什么概念? 波音造一架最新的 787 宽体客机,造价大概两三亿美元。 一千亿美元,够买四百架大型客机了。 拿这么多钱去跑一段程序,到底是算法疯了,还是算账的人疯了?
说这话的人,可不是什么网上的蹭热度博主。 他是微软 AI 的首席执行官,也是当年 DeepMind 的联合创始人,穆斯塔法·苏莱曼(Mustafa Suleyman)。 他在播客节目里算了一笔账: 接下来的两三年里,跑一次超大模型的训练,成本很可能会冲到几百亿、甚至一千亿美元。 而且全球能调动这种资源的实验室,只剩下五六家,微软就是其中之一。
很多人听完的第一反应肯定是:至于吗? 前阵子科技圈不是到处都在传,大模型已经撞墙了吗? 网上的公开文本差不多被抓空了。 开源社区也在后面紧咬不放,几千万美元跑出来的模型,日常用起来差距好像也没那么明显。 花一千亿美元去堆算力,还能堆出什么新花样?
因为这场比赛的打法变了。 以前大模型比的是预训练。 把全网的书籍、论文、代码一股脑倒给神经网络,算力砸得越多,模型背下的规律就越多。 但文本总有用光的时候。 现在顶级实验室都在把资源砸向另一个方向:测试时算力。
什么是测试时算力? 以前你问聊天机器人一个问题,它几百毫秒就得把第一个字吐出来。 这就像让人去考高难度数学竞赛,不给发草稿纸,也不准验算,看完题目必须张嘴报答案。 答得再快,遇到真复杂的逻辑题也是瞎猜。 现在的推理模型不一样了。 你扔给它一个难题,它不急着回答。 它在后台悄悄生成几千条思考路径,一步一步做推导。 发现某条路走不通,自己把它推翻,再换个方向重新算。 模型在后台思考几十秒甚至几分钟,解开博士级理科难题和复杂软件架构的能力,就跟着指数级往上蹿。
思考能力是上去了,代价也跟着爆炸了。 以前模型训完放到服务器上,用户问一句答一句,算力消耗相对可控。 现在只要用户提一个复杂需求,模型就在后台疯狂燃烧几分钟的算力。 几千万人同时用,推理端的服务器瞬间被挤爆。 而且为了教会模型怎么思考,实验室还得用强化学习让模型自己跟自己博弈、生成天文数字级的推导演算数据。 预训练的算力还没降下来,后训练和推理的算力又翻了几百倍。
算力翻一千倍,买芯片要多少钱? 英伟达一套最顶级的服务器机柜,售价就在上百万美元。 要把几十万张芯片连在一起协同工作,光是高带宽的光纤交换机和网络布线,就是个吃钱的无底洞。 几百亿美元砸进硬件里,连水花都听不见几个。
但这还不是最卡脖子的瓶颈。 钱可以找华尔街融,电从哪里来?
苏莱曼在采访里提到了一个词:吉瓦级算力。 一吉瓦等于一百万千瓦。 很多朋友对这个单位没什么概念。 一个标准的中型核电站反应堆,装机容量大概就是一吉瓦。 一吉瓦的电力,足够供应七十多万户普通家庭一整年的生活用电。 把几十万张高功耗计算芯片塞进数据中心,再加上庞大的水冷散热系统,整个机房的耗电量已经对标一座中型城市了。
如果你拿着几百亿美元去找电网公司买电,对方多半只能摊手。 在欧美很多工业区,申请接入一个吉瓦级的用电负荷,排队审批加上电网改造,少说要等五年到七年。 大模型几个月就迭代一代,谁能等七年?
等不起怎么办? 科技巨头们只能自己动手去抢能源。 微软为了给自己的算力中心供电,直接签了二十年的购电协议,出钱重启已经退役五年的宾州三里岛核电站一号反应堆,打包买走它全部 835 兆瓦的清洁电力。 亚马逊花了六亿五千万美元,把整个数据中心园区直接建在宾州萨斯奎哈纳核电站隔壁,电缆直接连进核电站的变压器。 谷歌甚至去跟初创公司合作,提前锁定未来小型模块化核反应堆的供电名额。
把这一整条链条连起来看,你就明白苏莱曼为什么说这是断层级的优势了。 这早就脱离了几个程序员在屏幕前调调参数的代码比赛。 它变成了一场调动海量电力、工业地产、核反应堆和千亿美元资本的重工业阵地战。
全球能同时掏出千亿美元现金、搞定吉瓦级电网接入、还能把几十万张芯片捏成一个集群的,数来数去也就微软、谷歌、亚马逊、Meta 这些体量的巨头。 初创公司就算融到了五亿、十亿美元,在这样的体量面前,可能连一个吉瓦级变电站的地基都还没打完。
那开源模型还能靠以前的蒸馏技巧追平吗? 苏莱曼给出的判断很不乐观。 当头部实验室靠着几吉瓦的电力和千亿级算力,在深度推理和自我演进上把模型推到新高度时,这种计算规模带来的代差,很难再靠小巧的算法技巧去弥补。 就像蒸汽机刚出现的时候,工匠再怎么改良手摇织布机,也挡不住大工厂机器轰鸣的降维打击。
大家以前聊人工智能,总觉得那是硅谷车库里的软件神话。 几个天才坐在电脑前写几千行优雅的代码,就能改变世界。 现在看到千亿美金和吉瓦级电力的账单才发现: 当算法需要吞下一座核电站才能继续往前跑的时候,它已经彻底变成了重工业。
引用 / CITATIONS
No citations exported.
同领域解读 / AI & LLMS
导出 / EXPORT
订阅 · SUBSCRIBE
每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。