{"id":"mb-20261012-ae5332","kind":"deep","title":"为什么大模型打字这么慢？Cerebras晶圆芯片揭开显存带宽的物理死穴","summary":"大模型推理的真正瓶颈不在计算核心算力，而在自回归解码阶段的内存带宽。以700亿参数模型为例，每生成一个词都需要将约140GB权重完整搬运一次。Cerebras通过晶圆级架构将超大容量SRAM直接集成在片上，摆脱外部HBM瓶颈，实现2500倍的数据搬运提速。","body":"大模型每吐出一个字，都要把一百部高清电影完整搬运一遍。\n\n这听起来像是在开玩笑。\n\n我们平时用 ChatGPT，敲下一行问题，回车。\n屏幕上开始一个词一个词往外蹦。\n很多人以为显卡是在疯狂计算，算力拉满了。\n其实在大部分生成时间里，计算核心根本没吃饱，它们是在干等。\n\n等什么？\n等数据从内存搬进计算单元。\n\n大模型推理其实分成两步。\n第一步叫预填充，也就是读懂你发过去的提示词。\n这一步可以很多任务一起并行算，显卡跑得很顺畅。\n真正卡死速度的是第二步：解码，也就是生成答案。\n\n解码是一个完全串行的过程。\n你必须先算出前一个词，才能根据前面的内容推演下一个词。\n它只能一步一步来，不能抢跑。\n\n每走一步，发生什么？\n显卡要把整个模型的全部权重，从显存里完整搬进计算核心算一次。\n算完，吐出一个字。\n下一个字，再把这套庞大的权重完整搬一遍。\n\n一个 700 亿参数的中等模型，权重数据大概有 140G。\n粗略折算下来，差不多就是 100 部高清电影的体积。\n也就是说，它为了给你输出一行几百字的回答，\n相当于在芯片内部，把这一百部电影来回搬了几百次。\n\n这时候瓶颈已经不在算力上了。\n哪怕你的算力核心再快十倍，显存带宽就只有那么宽。\n数据运不过来，计算核心就只能趴着等。\n这就是硬件领域常说的内存墙。\n\n现在常用的高端显卡，哪怕配了高带宽内存（HBM），带宽推到了几 TB 每秒。\n在这种连续搬运的负荷面前，依然吃不消。\n\nCerebras 换了一个极其粗暴的解法。\n它不把晶圆切割成几百颗小芯片，直接把整张晶圆做成一颗巨型芯片。\n面积直接做到了普通显卡的 58 倍。\n\n它最核心的改变在于存储位置。\n它彻底拿掉了外挂显存，把所有存储都做成了片上静态存储（SRAM）。\n超大容量的高速存储直接铺在计算核心旁边。\n\n没有漫长的外部搬运路线。\n数据移动速度直接比走高带宽内存快了两千五百倍。\n\n大模型生成变慢，毛病通常不在算力。\n真正卡住它的是数据通道的物理延迟。\n把传输距离缩短到芯片内部，速度自然就变快了。","topic":"为什么大模型打字这么慢？Cerebras晶圆芯片揭开显存带宽的物理死穴","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-12 16:12:16","legal_anchor_count":0,"transcript_citation_count":0}