几万美金的芯片为何九成时间在发呆？大模型推理狂飙背后的解耦战役

大模型每吐出一个词，显卡都要把几百亿个参数从内存完整搬运一遍。

这意味着什么？

显卡高达 90% 的时间根本没在算题，全是坐在那里等内存传数据。

几万美金一张的顶级芯片，大半时间都在发呆。

谷歌每个月要处理 3200 万亿个词，比上一年的 480 万亿猛增了六倍多。

照这个吃法，全世界的电网和显卡早该被吃崩了。

可眼下的数字是，主流开源模型的推理成本不仅没涨，反而降了四分之一，速度还快了三倍半。

硬件没有发生物理魔法，到底是怎么省出来的？

把大模型拆成四份，四张显卡一起扛行不行？

理论上一人扛四分之一参数，吐字速度应该快四倍。

真拉到机器上一测，速度只提了两倍，耗电量却翻倍暴涨。

因为每张卡手里只有四分之一的信息，每算完一层注意力，四张卡必须停下来核对一次答案。

这个动作叫全归约通信。

一层核对两次，通信耗时直接把算力收益吃掉了一大半。

既然每次读参数显卡都在闲着，能不能让它读一次参数，顺手伺候好几个人的提问？

这就是批处理。

可新的麻烦又来了：每个人的问题长短不一样。

有人问三个字就答完了，有人要写长篇大论。

答完的人退场了，空出来的工位又开始发呆。

工程师想了个招：连续批处理。

显卡在算着的同时，只要有一个空位腾出来，不等这一轮跑完，立马把下一个排队的用户塞进去。

工位是塞满了，显存又撞墙了。

大模型要接上前面的对话，必须把每个词的特征存进显存，这个记录叫键值缓存。

以 700 亿参数的模型为例，一个用户每输入 3000 个词，就要吃掉整整 1G 显存。

如果一个写代码的智能体读取了 12.8 万词的上下文，光他一个人的提问，就要霸占 42G 显存。

八个程序员同时发请求，单张卡的显存直接被炸干。

怎么办？

以前的做法很粗暴，提问一进来就给它预留最大长度的显存块，就像不管你住多久都按包月占着总统套房，里面大半是空的。

后来业内照着操作系统的虚拟内存，搞出了分页显存管理。

显存被切成一片片小碎页，哪里有空塞哪里，单张卡能同时接纳的提问直接翻了三倍。

再加上提示词缓存，很多通用的系统指令和代码框架不用每次重算，直接翻以前的缓存，把最费劲的第一步省掉了。

但最大的死结，藏在大模型干活的两个阶段里。

第一个阶段叫预填充。

模型刚收到你的长提问，还没吐出第一个字之前，必须先把所有问题读懂、把整段特征算出来。

这个阶段能高度并行，显卡所有算力核心全开，算力直接被拉满。

第二个阶段叫解码。

也就是大家看到的光标一闪一闪、一个词一个词往外蹦。

这个阶段算力根本使不上劲，每蹦一个词，都得把几十个 G 的模型从头到尾重读一遍，全卡在内存带宽上。

一个要算力，一个要带宽。

如果有人发了一个几十万词的长代码分析，显卡被按在预填充里死命算上十几秒，整条流水线瞬间堵死。

其他所有正在蹦字的用户，全被定在原地动弹不得。

怎么破？拆块预填充。

把长得吓人的提问切成一个个小碎片，趁着别人蹦字的间隙，插空塞进去一点一点算。

谁也别想堵路。

既然算力和带宽的需求完全不同，把它们硬绑在同一张卡上，本身就很拧巴。

现在的顶级架构干脆把整个系统拆了。

一个机房全是专门堆算力的芯片，只负责读长问题做预填充。

另一个机房全是专门堆内存带宽的芯片，只负责一个词一个词往外吐。

读完了，通过高速网络把缓存一甩，交给吐字的机器。

比如 Cerebras 做的晶圆级芯片，上面堆满了超高带宽静态随机存储器，带宽达到了惊人的每秒 21000 TB，是英伟达 H100 的 7000 倍。

它在解码吐字的时候，每秒能喷出 3000 个词，而普通的 H100 只能吐 600 个。

所以他们干脆联手亚马逊，让亚马逊的 Trainium 芯片在前面负责高算力读题，通过高速光纤把缓存传给 Cerebras 负责疯狂吐字。

同样的占地面积，吞吐量直接放大五倍。

模型内部甚至还能继续拆。

大模型每次吐字太慢，就先牵一个几亿参数的小模型在前面飞快地猜九个词。

大模型只在后面一次性看一眼：猜得准不准？

准的直接收下，不准的打回去重写。

原本大模型要从头算九遍的苦活，现在只要复核三遍，速度又提了一大截。

甚至到了三万亿参数的巨无霸模型，同一层网络都要被大卸八块。

算注意力要吃高带宽，扔给内存芯片；算全连接矩阵乘法要吃纯算力，扔给算力芯片。

数据就在两批完全不同的芯片之间来回传球。

谷歌一个月消耗 3200 万亿个词，整个行业却没被算力账单压垮。

没有哪家公司突然造出了违背物理定律的神仙芯片。

是一帮工程师把从内存搬运、显存碎片、任务队列到芯片分工的每一个微小缝隙，全用手术刀切开，逼着硬件把最后一点闲置时间榨得干干净净。

大模型推理能跑这么快，从来不是因为算力突然富裕了。

硬件还是那些硬件，只是工程师终于摸清了脾气，没再让显卡坐在那里发呆。