为什么大模型打字这么慢？Cerebras晶圆芯片揭开显存带宽的物理死穴

大模型每吐出一个字，都要把一百部高清电影完整搬运一遍。

这听起来像是在开玩笑。

我们平时用 ChatGPT，敲下一行问题，回车。 屏幕上开始一个词一个词往外蹦。 很多人以为显卡是在疯狂计算，算力拉满了。 其实在大部分生成时间里，计算核心根本没吃饱，它们是在干等。

等什么？ 等数据从内存搬进计算单元。

大模型推理其实分成两步。 第一步叫预填充，也就是读懂你发过去的提示词。 这一步可以很多任务一起并行算，显卡跑得很顺畅。 真正卡死速度的是第二步：解码，也就是生成答案。

解码是一个完全串行的过程。 你必须先算出前一个词，才能根据前面的内容推演下一个词。 它只能一步一步来，不能抢跑。

每走一步，发生什么？ 显卡要把整个模型的全部权重，从显存里完整搬进计算核心算一次。 算完，吐出一个字。 下一个字，再把这套庞大的权重完整搬一遍。

一个 700 亿参数的中等模型，权重数据大概有 140G。 粗略折算下来，差不多就是 100 部高清电影的体积。 也就是说，它为了给你输出一行几百字的回答， 相当于在芯片内部，把这一百部电影来回搬了几百次。

这时候瓶颈已经不在算力上了。 哪怕你的算力核心再快十倍，显存带宽就只有那么宽。 数据运不过来，计算核心就只能趴着等。 这就是硬件领域常说的内存墙。

现在常用的高端显卡，哪怕配了高带宽内存（HBM），带宽推到了几 TB 每秒。 在这种连续搬运的负荷面前，依然吃不消。

Cerebras 换了一个极其粗暴的解法。 它不把晶圆切割成几百颗小芯片，直接把整张晶圆做成一颗巨型芯片。 面积直接做到了普通显卡的 58 倍。

它最核心的改变在于存储位置。 它彻底拿掉了外挂显存，把所有存储都做成了片上静态存储（SRAM）。 超大容量的高速存储直接铺在计算核心旁边。

没有漫长的外部搬运路线。 数据移动速度直接比走高带宽内存快了两千五百倍。

大模型生成变慢，毛病通常不在算力。 真正卡住它的是数据通道的物理延迟。 把传输距离缩短到芯片内部，速度自然就变快了。