{"id":"mb-20261013-c23ab9","kind":"deep","title":"AMD抢先攻破大模型吐字瓶颈：巨型算子如何让显卡在vLLM里摆脱调度内耗","summary":"大模型在低并发解码吐字时，瓶颈不在算力而在频繁启动算子与进出显存的调度开销。AMD在主流推理框架vLLM中抢先英伟达合并巨型算子解码，将每层数十次算子启停压缩为常驻流水线，大幅削减交互延迟。本文拆解预填充与自回归解码的本质差异、算子启动开销机制以及底层生态的攻守异位。","body":"大模型在屏幕上敲出一个字，显卡到底要在后台折腾多少回？\n上千次。\n大半时间它根本没在算数学，全耗在交接班上了。\n算一步，停一下，把算到一半的数据存回显存，再等系统派发下一道指令。\n整套大模型几十层算下来，吐一个字，就要进出显存大门上千次。\n这就像送一盒火柴，非要专门叫一趟重型货车。\n车还没开热，货就送完了，时间全耗在等红绿灯和办交接手续上。\n显卡的算力再高，也架不住这么空转。\n这种浪费，在芯片和系统工程里有个专门的名字：算子启动开销。\n\n过去大家总觉得，在人工智能底层软件这一块，英伟达的 CUDA 永远走在最前面，AMD 只能跟在后面做兼容。\n但半导体研究机构 SemiAnalysis 最近发了一条预警：\n在最主流的开源大模型推理引擎 vLLM 里面，AMD 抢在英伟达前面，把一项叫做巨型算子解码的技术直接合进了主分支。\n这是头一次，开源社区最核心的大模型推理优化，在 AMD 的 ROCm 上跑通了，英伟达的 CUDA 反而还没跟上。\n\n这到底是怎么做到的？\n要弄懂这件事，得先看大模型是怎么吐字的。\n我们平时用人工智能，计算过程分为截然不同的两段。\n第一段叫预填充，也就是把你输进去的那几百上千字提示词一口气读完。\n这时候显卡里塞满了任务，计算核心火力全开，算力基本能跑满。\n但第二段就完全不同了，也就是自回归解码阶段。\n大模型回答你，必须一个字接着一个字往外蹦。\n每蹦一个字，它都要把前面的整段话和整个神经网络从头到尾过一遍。\n一个主流的现代大模型，往往有几十层甚至上百层结构。\n每一层里面，又被切成了几十个具体的计算步骤：算归一化、算位置编码、算注意力机制、算前馈网络、在多张显卡之间同步数据。\n在过去的架构下，算一层模型，显卡要启停大约 40 个独立的计算核心任务。\n如果一个大模型有 60 层，为了生成眼前这一个字，显卡就要在几毫秒里连续启动 2400 次任务。\n每一次启动，中央处理器都要去敲显卡的门，告诉它去哪块内存取数据、怎么排队、算完存到哪里。\n显卡算这一个字只需几微秒，但等指令、开门关门的时间，比真正计算的时间还要长。\n更麻烦的是显存的来回倒腾。\n由于每次任务都是独立的，前一个任务刚算完的中间结果，显卡不能留在手边的寄存器里，必须大费周章地写回到外面的高带宽显存 HBM。\n下一个任务一启动，又得辛辛苦苦把这笔数据从高带宽显存里再读回来。\n显卡肚子里的计算单元饿得要命，嘴巴却被内存带宽和调度通知死死卡住了。\n这就导致在低并发、高互动的场景下，比如你跟智能体单对单对话、让它一步一步写代码或者做深度推理时，显卡的大半算力只能干瞪眼。\n\nAMD 这次干了什么？\n他们把这一层里原本零散的几十个小任务，直接融合成了一到两个常驻的巨型算子，行业里叫 Mono-Decode。\n它就像是在显卡核心里修了一条全封闭的流水线。\n任务启动一次之后就不再退出，一直在显卡核心里常驻。\n算完注意力机制，中间数据不用再千里迢迢存回高带宽显存，直接在核心内部的高速缓存和寄存器里原地交接，接着算下一道工序。\n甚至连多张显卡之间的数据同步，也直接在这条流水线内部跑完。\n从原本每层启动 40 次任务，直接压缩到只启动一两次。\n中央处理器不用再频繁敲门了，高带宽显存不用频繁进出了，整条流水线在芯片内部高速循环。\n结果就是，显卡在单次吐字时的等待时间被砍掉了一大截，每秒生成的字数明显上去了。\n\n这事最让人玩味的地方，在于生态位的悄然翻转。\n过去几年，整个半导体行业几乎形成了一个惯性思维：\n英伟达不仅硬件强，软件护城河 CUDA 更是坚不可摧。\n开源社区无论做出什么神仙优化，都是先为英伟达写代码，等生态成熟了，AMD 再花几个月甚至一年时间，把代码一点点搬运到自己的 ROCm 系统上。\n大家把 AMD 当成一个永远在补课的抄作业学生。\n但这次在 vLLM 的代码仓库里，AMD 的工程师直接把这套巨型算子解码合并到了主干分支，代码编号 60397。\n英伟达官方在这一块的原生支持，反而落在了后面。\nSemiAnalysis 之所以专门发警报，就是因为这种攻守异位的局面，在过去几乎不可想象。\n\n不过，这并不意味着 AMD 已经全盘反超了。\n把工程细节翻开来看，这项优化目前有着非常明确的适用边界。\n它专门瞄准的是解码阶段，而且只在低并发的场景下生效，比如同时处理的行数在 48 行以内，对应一到八个用户的并发互动，或者搭配投机解码的草稿生成。\n显卡配置也限定在两卡或四卡张量并行，跑在最新的 CDNA 架构上，比如 MI300X 和 MI355X。\n一旦并发量冲上去了，或者到了第一步大批量读提示词的阶段，系统就会自动退回到传统的计算路径。\n而且 AMD 这次在代码里守住了严格的计算精度，在 GPQA、AIME 这些高难度测试集上，所有数学结果严丝合缝，没有为了偷速度牺牲哪怕一点准确率。\n\n大模型越往深度推理和智能体走，单字吐出来的延迟就越致命。\n如果一个模型要自己调用工具、写几十行代码、在后台默默跑上千步推理循环，每次吐字慢一拍，整套任务就要卡上好几分钟。\n这时候，算力峰值再漂亮也没用，能不能把交互延迟压到极致，才是真正见真章的地方。\n打破软件护城河，光靠跟在别人后面修补兼容层是走不通的。\nAMD 这次在开源主线上的超车，没有去吹宏大的生态口号。\n他们只是认准了一个物理死穴，抢在所有人前面，把那条最堵的狭窄通道打穿了。","topic":"AMD抢先攻破大模型吐字瓶颈：巨型算子如何让显卡在vLLM里摆脱调度内耗","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-13 08:47:11","legal_anchor_count":0,"transcript_citation_count":0}