{"id":"mb-20261020-30aebf","kind":"deep","title":"AI打字为什么卡在带宽墙？70B大模型逐字推理与硬件解耦拆解","summary":"大语言模型在自回归生成时，每输出一个词都需要将全部权重参数从显存完整搬进计算核心。以700亿参数模型为例，写一个词就要搬运140GB数据，导致昂贵计算芯片在单流解码时的算力利用率常年低于百分之一。文章拆解了预填充与解码的本质差异、显存带宽墙的物理成因，以及行业如何通过预填充与解码解耦打破瓶颈。","body":"AI 每在屏幕上敲出一个词，显卡就要把整个模型从头到尾重读一遍。\n\n一个 700 亿参数的大模型，体重大概是 140G。\n这相当于三万五千首高品质音乐的文件大小。\n屏幕上蹦出一个标点，显卡从显存里搬运 140G。\n蹦出下一个词，再把这 140G 重新搬一遍。\n它要是给你写了一段 50 个词的简短回答，显卡在总线里来回倒腾了整整 7000G 的数据。\n\n有没有搞错？\n几十万买回来的顶级计算卡，模型不早就加载在显存里了吗？\n算力那么强，为什么打字还是像老式电报机一样，一个词一个词往外挤？\n\n先看你按下回车的那一瞬间。\n这时候芯片可一点都不憋屈。\n你扔进去一篇两千字的提示词，显卡把这两千个词打包成一个大矩阵，一口气吞下去。\n模型里这 140G 的权重参数，从显存搬进计算核心一次，这两千个词就同时挂上去做乘加法。\n显卡里成千上万个张量计算核心全在全速狂飙。\n搬运一次数据，能做好几千次运算。\n算力利用率直接拉满。\n这一步在工程上叫预填充。\n\n可是一旦开始输出回答，整个逻辑突然全乱了套。\n大语言模型是自回归的。\n什么叫自回归？\n就是它算下一个词的前提，是必须先知道前面的词是什么。\n它没办法未卜先知，只能把第 50 个词算出来了，把这个词贴回句尾，才能去猜第 51 个词。\n这就带来了一个很尴尬的场面：\n算第 51 个词的时候，手头只有这一个词的向量。\n但为了算出这个词到底该选哪个，显卡必须把模型里全部 700 亿个参数，重新在计算核心里过一遍。\n140G 的数据从显存搬进芯片核心，只服务这一个词。\n算完了，吐出一个词，接着把这 140G 从头再搬一次。\n\n问题就卡在搬运的速度上。\n这就是著名的显存带宽墙。\n你可以把显卡的计算核心看成一个胃口极大的超级车间，一秒钟能消化天文数字般的材料。\n但连通仓库和车间的走廊，宽度是有物理极限的。\n哪怕是最顶级的英伟达 H100 显卡，每秒钟能搬运的数据上限大概也就是 3.3 TB。\n3.3 TB 听起来很大，但搬一次 140G 的数据，一秒钟最多也就只能搬 24 次。\n如果就你一个人在用这个大模型，不管这块显卡算力有多逆天，它物理上的打字速度上限，就是一秒钟 24 个词。\n那剩下的算力在干嘛？\n在干等。\n那些造价昂贵的高性能计算单元，超过百分之九十八的时间都在工位上喝茶，等显存把权重数据慢慢送过来。\n整个显卡的实际算力利用率，经常跌到百分之一以下。\n你在屏幕前看它噼里啪啦像个资深打字员，实际上芯片核心绝大部分时间都在等走廊清空。\n\n那搞 AI 基础设施的工程师怎么破这个局？\n第一反应是拼车。\n既然搬一次 140G 这么费劲，那就别只为一个人的提问跑这一趟。\n把几十个甚至几百个用户的请求凑在一起解码。\n显存搬运一次 140G 权重，同时给这一百个用户算各自的下一个词。\n这样走廊没白跑，车间的计算工人也有活干了。\n但这招很快就碰到了新麻烦。\n拼车需要等人，大家的回答长度不一样，长回答拖着短回答，就会导致屏幕上的打字突然卡顿。\n而且每个人的上下文历史都要在显存里占地方，缓存越攒越大，显存很容易直接被撑爆。\n\n所以现在业界开始搞一种更彻底的拆解：让工作分家。\n预填充和解码，根本就是两类完全相反的活。\n读提示词需要强大的暴力算力，不怕数据大，就怕算力不够用；\n而逐字写回答，纯粹是在拼谁的显存带宽大、谁的走廊更宽，根本用不上那么夸张的顶级算力。\n既然如此，干嘛非要让同一张昂贵的高端显卡同时干这两件事？\n最近通用计算（General Compute）和 Positron AI 这类硬件新玩家搞的合作，走的就是这条路。\n把读提示词的算力重活，扔给擅长大规模并行的英伟达 GPU；\n等到开始一个词一个词往外挤的时候，立刻把任务切给专门堆带宽的专用芯片去处理。\n用成本低得多的架构，去解这个纯拼搬运速度的死局。\n\n以前很多人以为，大模型跑得快不快，全看芯片的浮点算力有多高。\n真到了大规模推理的落地阶段才看清楚，真正卡住技术的物理极限，往往根本不在于芯片算得多快，全看显存里的数据搬得有多慢。","topic":"AI打字为什么卡在带宽墙？70B大模型逐字推理与硬件解耦拆解","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-20 20:25:50","legal_anchor_count":0,"transcript_citation_count":0}