你手里攥着预算，想去云厂商那里直接租 1000 张高端 GPU，几乎没有厂商能当场交货

你手里攥着预算，想去云厂商那里直接租 1000 张高端 GPU，几乎没有厂商能当场交货。 哪怕只买 5 张显卡放在自己的实验室，你的账本大概率也会迅速陷入泥潭。 很多人以为 AI 的瓶颈是买不起算力。 其实算力的残酷真相，根本不在显卡有多贵。 在今天整个 AI 工业里，一套极度别扭的算法，正被硬塞进一台结构错配的物理机器中。

在云原生技术已经能让数万台 CPU 容器秒级弹性的今天，为什么 GPU 算力反而退化成了一种极端笨重的物理资产？ 为什么训练一个大模型能把显卡吃满，到了日常使用，推理却变得又贵又慢？

Modal 工程师、加州大学伯克利分校计算博士 Charles Frye 拆解了每个团队都会撞上的三道硬墙。 第一道墙叫闲置税。 你花了上百万美元买下一批高端显卡，纸面上的摊销成本看着很低。 但在日常研发里，显卡有 80% 的时间在等代码、等数据、等调试。 算上实际利用率，你为每个有效计算小时支付的真实成本，往往是标价的数倍。 第二道墙叫尖峰排队。 到了论文截稿或产品上线前夕，你突然需要同时跑 100 组实验。 手头的算力瞬间被打爆，缺口扩大上百倍，整个团队只能在排队中干耗。 第三道墙叫多租户隔离缺失。 CPU 可以靠容器在毫秒间切分共享，但高端 GPU 缺乏轻量的虚拟化支持。 拉起一个模型服务，光是把几十 GB 权重从存储搬进显存，就要花上 90 秒。 你无法像传统云服务那样即开即走。 为了让接口随时响应，许多团队只能放任昂贵的显卡 24 小时空转。

更底层的冲突，藏在算法与芯片的结构性失配中。 2020 年，计算机学者 Sara Hooker 提出了一个著名概念：硬件彩票。 一个算法之所以统治行业，往往无关数学上的纯粹，纯粹是因为它恰好中了一张彩票，适配了当时最容易买到的硬件。 现在的 Transformer 大模型，就是训练时代的彩票赢家。 训练时，海量数据可以打包成超大批次，把 GPU 的矩阵乘法核心彻底占满。 但到了单用户的日常推理，这套算法瞬间变成了硬件的噩梦。 自回归生成的过程，是每吐出一个词，就要把整整 100GB 的模型权重从显存完整读取一遍。 搬运 100GB 的数据，仅仅为了产出几个字节的结果。 然后再把这个过程重复几千次。 芯片大部分时间根本没有在运算，都在干等数据在总线上传输。 在硬件工程师眼里，推理本质上是对现代芯片极其不友好的算法。

旧的直觉以为，算力荒只要等芯片厂多造晶圆、多发新显卡就能解决。 但只要存算分离的冯诺依曼架构还在，内存墙就不会凭空消失。 在真正的存算一体芯片普及前，工程界只能在夹缝里给这台别扭的机器打补丁。 比如用投机采样，让轻量小模型先猜出一串词，再让大模型像训练一样并行批量验证，把单字蹦的自回归强行伪装成高吞吐。 比如 Modal 开发显存快照恢复，把 GPU 的显存状态直接打包序列化，把冷启动时间从 90 秒强压到 10 秒。 为什么推理终将吃掉绝大部分算力？ 就像数据库的发展史一样。 数据量最大的数据库确实集中在云端大集群，但全球数量最多的，是每一台手机里静默运行的数万亿个 SQLite 实例。 训练只是造出工具。 真正交付价值的，永远是每一次具体的推理。

技术的每一次大爆发，底色都是一场算法与物理硬件的拉锯。 决定这套系统能否普及的，从来无关显卡的绝对数量。 关键在于谁能在物理传输的铁律面前，最先免掉那笔沉重的搬运税。