{"id":"mb-20261012-c6c014","kind":"deep","title":"几万美金的芯片为何九成时间在发呆？大模型推理狂飙背后的解耦战役","summary":"谷歌月消耗 3200 万亿词，大模型推理成本却反降 25%。本文拆解自回归生成的内存带宽瓶颈，从键值缓存爆炸、连续批处理、拆块预填充到预填充与解码的异构芯片解耦，看工程师如何榨干每一寸闲置硬件。","body":"大模型每吐出一个词，显卡都要把几百亿个参数从内存完整搬运一遍。\n\n这意味着什么？\n\n显卡高达 90% 的时间根本没在算题，全是坐在那里等内存传数据。\n\n几万美金一张的顶级芯片，大半时间都在发呆。\n\n谷歌每个月要处理 3200 万亿个词，比上一年的 480 万亿猛增了六倍多。\n\n照这个吃法，全世界的电网和显卡早该被吃崩了。\n\n可眼下的数字是，主流开源模型的推理成本不仅没涨，反而降了四分之一，速度还快了三倍半。\n\n硬件没有发生物理魔法，到底是怎么省出来的？\n\n把大模型拆成四份，四张显卡一起扛行不行？\n\n理论上一人扛四分之一参数，吐字速度应该快四倍。\n\n真拉到机器上一测，速度只提了两倍，耗电量却翻倍暴涨。\n\n因为每张卡手里只有四分之一的信息，每算完一层注意力，四张卡必须停下来核对一次答案。\n\n这个动作叫全归约通信。\n\n一层核对两次，通信耗时直接把算力收益吃掉了一大半。\n\n既然每次读参数显卡都在闲着，能不能让它读一次参数，顺手伺候好几个人的提问？\n\n这就是批处理。\n\n可新的麻烦又来了：每个人的问题长短不一样。\n\n有人问三个字就答完了，有人要写长篇大论。\n\n答完的人退场了，空出来的工位又开始发呆。\n\n工程师想了个招：连续批处理。\n\n显卡在算着的同时，只要有一个空位腾出来，不等这一轮跑完，立马把下一个排队的用户塞进去。\n\n工位是塞满了，显存又撞墙了。\n\n大模型要接上前面的对话，必须把每个词的特征存进显存，这个记录叫键值缓存。\n\n以 700 亿参数的模型为例，一个用户每输入 3000 个词，就要吃掉整整 1G 显存。\n\n如果一个写代码的智能体读取了 12.8 万词的上下文，光他一个人的提问，就要霸占 42G 显存。\n\n八个程序员同时发请求，单张卡的显存直接被炸干。\n\n怎么办？\n\n以前的做法很粗暴，提问一进来就给它预留最大长度的显存块，就像不管你住多久都按包月占着总统套房，里面大半是空的。\n\n后来业内照着操作系统的虚拟内存，搞出了分页显存管理。\n\n显存被切成一片片小碎页，哪里有空塞哪里，单张卡能同时接纳的提问直接翻了三倍。\n\n再加上提示词缓存，很多通用的系统指令和代码框架不用每次重算，直接翻以前的缓存，把最费劲的第一步省掉了。\n\n但最大的死结，藏在大模型干活的两个阶段里。\n\n第一个阶段叫预填充。\n\n模型刚收到你的长提问，还没吐出第一个字之前，必须先把所有问题读懂、把整段特征算出来。\n\n这个阶段能高度并行，显卡所有算力核心全开，算力直接被拉满。\n\n第二个阶段叫解码。\n\n也就是大家看到的光标一闪一闪、一个词一个词往外蹦。\n\n这个阶段算力根本使不上劲，每蹦一个词，都得把几十个 G 的模型从头到尾重读一遍，全卡在内存带宽上。\n\n一个要算力，一个要带宽。\n\n如果有人发了一个几十万词的长代码分析，显卡被按在预填充里死命算上十几秒，整条流水线瞬间堵死。\n\n其他所有正在蹦字的用户，全被定在原地动弹不得。\n\n怎么破？拆块预填充。\n\n把长得吓人的提问切成一个个小碎片，趁着别人蹦字的间隙，插空塞进去一点一点算。\n\n谁也别想堵路。\n\n既然算力和带宽的需求完全不同，把它们硬绑在同一张卡上，本身就很拧巴。\n\n现在的顶级架构干脆把整个系统拆了。\n\n一个机房全是专门堆算力的芯片，只负责读长问题做预填充。\n\n另一个机房全是专门堆内存带宽的芯片，只负责一个词一个词往外吐。\n\n读完了，通过高速网络把缓存一甩，交给吐字的机器。\n\n比如 Cerebras 做的晶圆级芯片，上面堆满了超高带宽静态随机存储器，带宽达到了惊人的每秒 21000 TB，是英伟达 H100 的 7000 倍。\n\n它在解码吐字的时候，每秒能喷出 3000 个词，而普通的 H100 只能吐 600 个。\n\n所以他们干脆联手亚马逊，让亚马逊的 Trainium 芯片在前面负责高算力读题，通过高速光纤把缓存传给 Cerebras 负责疯狂吐字。\n\n同样的占地面积，吞吐量直接放大五倍。\n\n模型内部甚至还能继续拆。\n\n大模型每次吐字太慢，就先牵一个几亿参数的小模型在前面飞快地猜九个词。\n\n大模型只在后面一次性看一眼：猜得准不准？\n\n准的直接收下，不准的打回去重写。\n\n原本大模型要从头算九遍的苦活，现在只要复核三遍，速度又提了一大截。\n\n甚至到了三万亿参数的巨无霸模型，同一层网络都要被大卸八块。\n\n算注意力要吃高带宽，扔给内存芯片；算全连接矩阵乘法要吃纯算力，扔给算力芯片。\n\n数据就在两批完全不同的芯片之间来回传球。\n\n谷歌一个月消耗 3200 万亿个词，整个行业却没被算力账单压垮。\n\n没有哪家公司突然造出了违背物理定律的神仙芯片。\n\n是一帮工程师把从内存搬运、显存碎片、任务队列到芯片分工的每一个微小缝隙，全用手术刀切开，逼着硬件把最后一点闲置时间榨得干干净净。\n\n大模型推理能跑这么快，从来不是因为算力突然富裕了。\n\n硬件还是那些硬件，只是工程师终于摸清了脾气，没再让显卡坐在那里发呆。","topic":"几万美金的芯片为何九成时间在发呆？大模型推理狂飙背后的解耦战役","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-12 16:11:37","legal_anchor_count":0,"transcript_citation_count":0}