纽约一条百年的跨州铁路隧道缺 10 亿美元,常年拿不出钱翻修
纽约一条百年的跨州铁路隧道缺 10 亿美元,常年拿不出钱翻修。 同一时期,科技巨头一年的资本开支飙到了一千零五十亿美元。 一条关乎几百万人通勤的重资产隧道,造价还不到一家科技公司一年机房投入的百分之一。 甚至有数据中心为了保供电,开始从退役飞机上拆喷气发动机当发电机。 因为工业燃气轮机的排期,已经一口气订到了五年以后。 连飞机发动机都拆下来烧了,造芯片的人到底在发什么疯? 芯片淘金热,最赚钱的不就是卖芯片吗? 美光一个季度赚到的利润,几乎抵得上过去十九年的总和。 大家都觉得只要造出一颗算力更猛的芯片,就能把印钞机搬回家。 但如果你去问今天定义了全球 AI 芯片路线的那两个人,他们会给你当头泼一盆冰水。 英伟达首席科学家比尔·达利(Bill Dally),和谷歌 TPU 之父诺曼·朱佩(Norman Jouppi),在美国计算机历史博物馆坐到了一起。 坐在中间主持的,是图灵奖得主、精简指令集(RISC)架构奠基人戴夫·帕特森(Dave Patterson)。 这三个人把过去五十年所有算力革命的底牌全看穿了。 他们坐下来给出的第一个判断,反直觉到了极点: 今天决定算力胜负的,早就不是那颗硅片了。 上世纪八十年代有专用 Lisp 芯片热潮,九十年代有超级计算机热潮。 美国国防部大笔拨款砸下去,诞生了一大批明星芯片公司。 结果呢? 像思维机器公司(Thinking Machines)这种当年的超级先驱,最后全死光了。 为什么当年技术再强也撑不起一个商业市场? 因为以前的高性能计算,代码动不动几十万行、上百万行。 全是几十年积累下来的积灰老代码。 你把其中一个计算核心提速十倍,剩下那百分之九十的串行老程序依然卡在原地。 这是阿姆达尔定律(Amdahl's Law)立下的物理铁律。 硬件跑得再快,也甩不掉软件的历史包袱。 但大模型完全掀翻了这条铁律。 比尔·达利说了一句大实话:大模型的计算结构其实出奇地简单。 不管它有几千亿还是上万亿参数,底层反反复复计算的只有几个固定动作: 矩阵乘法、注意力机制、归一化。 以前硬件工程师要伺候成千上万种千奇百怪的传统算法。 现在全世界最聪明的头脑,全在围绕这几个基础算子死磕。 软件开发者甚至没有任何历史包袱。 只要换成四位浮点数(FP4)能把吞吐翻一倍,工程师当晚就能把底层算子全部重写一遍。 这是计算机历史上第一次,芯片架构和算法模型朝着同一个方向疯狂收敛。 这就引出了戴夫·帕特森抛出的下一个问题: 为什么今天几乎所有大厂的 AI 芯片,长相越来越像? 中间一块巨大的计算裸芯,密密麻麻布满矩阵计算单元。 外围死死围着一圈高带宽内存(HBM),再连上最快的高速接口。 不仅英伟达和谷歌像,各家自研芯片全长成了一个模子。 这是抄袭吗? 诺曼·朱佩给了一个生物学上的冷酷解释。 大家都喜欢吹寒武纪生命大爆发。 但很少有人提紧接着发生的寒武纪大灭绝。 当年地球上冒出过无数奇形怪状的生物,最后全死绝了。 能活到今天的物种,全长着高度相似的骨骼。 九十年代硅谷有一百多家图形芯片公司,拼杀到最后只剩英伟达和 ATI 两家。 今天的 AI 芯片也在经历一模一样的收敛。 那些搞模拟计算的、搞类脑架构的、搞激进内存重构的,最后全被大模型淘汰出局。 既然芯片长相都收敛了,创业公司照着图纸抄一颗,能打败巨头吗? 不能。 战场的重心早就不在硅片上了。 戴夫·帕特森问了全场最致命的一个问题: 如果把英伟达或谷歌的芯片版图直接送给一家创业公司,他们能打得过你们吗? 比尔·达利几乎没有犹豫: 交付给客户的完整产品,从第一天起就是一整套系统。 以前各家卖各家的。 芯片厂卖处理器,服务器厂卖机箱,网络公司卖交换机。 但把几万块芯片连在一起训大模型,完全是另一码事。 比尔·达利当年参与美国能源部的泰坦(Titan)和顶峰(Summit)超级计算机。 硬件装进机架之后,光是把网络调通、让系统能稳定点亮,就要耗掉整整半年。 在几万块芯片的集群里,任何一根光纤丢包、一次微秒级的微小抖动,都会让几十亿美元的算力当场停摆。 客户买的不是芯片手册上的理论算力峰值。 客户买的是开机就能跑、连续训三个月不崩盘的交付能力。 谷歌在 2017 年做第二代 TPU 的时候,就彻底看穿了这件事。 诺曼·朱佩回忆,他们从一开始就没把 TPU 当成插在主板上的外设加速卡。 那是直接从白纸开始画的整机超级计算机。 三维环形拓扑网络、整机液冷、加上光路交换机。 一块芯片被烧毁了,光路交换机能在毫秒内自动绕开坏节点,整个集群继续狂奔。 路易斯·巴罗索写过一本奠定现代云计算的名著,叫《数据中心即计算机》。 在这个时代,竞争的最小物理单元已经膨胀成了一整座数据中心。 液冷管道的压力控制、交换机的拥塞算法、光路动态重构、电网负荷调度。 这些工程经验不会写在学术论文里,也无法靠芯片设计软件直接生成。 它是在几万次死机、烧毁和网络崩溃里用真金白银踩出来的坑。 那芯片巨头最引以为傲的软件护城河呢? 诺曼·朱佩当年做 TPU,牢牢记着他导师约翰·轩尼诗(John Hennessy)立下的军规: 绝不要把编译期能搞定的事情,留到运行期去处理。 初代 TPU 团队只有十个人,两个是编译器专家。 而英伟达从 2006 年发布 CUDA,熬了十八年才把底层算子库筑成了钢铁防线。 但这一次,两位顶级科学家给出了同一个让人后背发凉的预判: AI 正在亲手填平软件的护城河。 比尔·达利讲得格外坦白: 现在只要给大模型一份底层的接口规格说明书,让它去重新实现一遍整个软件栈。 过个周末,代码就写出来了。 戴夫·帕特森在旁边接了一句更绝的话: 护城河里正在被倒满沙子。 要不了多久,后来者就能踩着沙子大步走过去了。 普通工程师的效率被 AI 提速了两倍,顶尖工程师被提速了十倍。 写代码的门槛正在以肉眼可见的速度塌方。 算力芯片长得越来越像,软件护城河正在被沙子填平。 那最后拼的是什么? 拼谁能在物理世界里啃下最硬的工程骨头。 谁能在五年拿不到新燃气轮机的情况下搞定电力。 谁能让几万块高发热的裸芯片在液冷管道里稳定协同几个月。 谁能把一个城市规模的基础设施,像调教单颗晶体管那样驯服得整齐划一。 在这场以百亿美元为起跑线的硅金矿里,狂热的口号根本挖不出金子。 最终决出胜负的,是那套用无数次故障、烧毁和死机换回来的系统工程能力。 它把成千上万个狂暴的零件,死死咬合成了一台在物理极限上稳定狂奔的巨型机器。
引用 / CITATIONS
No citations exported.
同领域解读 / CHIPS & HARDWARE
导出 / EXPORT
订阅 · SUBSCRIBE
每周一封科技与 AI 深度解读,周一发出。不受审查,带出处,可核查。