AMD抢先攻破大模型吐字瓶颈：巨型算子如何让显卡在vLLM里摆脱调度内耗

大模型在屏幕上敲出一个字，显卡到底要在后台折腾多少回？ 上千次。 大半时间它根本没在算数学，全耗在交接班上了。 算一步，停一下，把算到一半的数据存回显存，再等系统派发下一道指令。 整套大模型几十层算下来，吐一个字，就要进出显存大门上千次。 这就像送一盒火柴，非要专门叫一趟重型货车。 车还没开热，货就送完了，时间全耗在等红绿灯和办交接手续上。 显卡的算力再高，也架不住这么空转。 这种浪费，在芯片和系统工程里有个专门的名字：算子启动开销。

过去大家总觉得，在人工智能底层软件这一块，英伟达的 CUDA 永远走在最前面，AMD 只能跟在后面做兼容。 但半导体研究机构 SemiAnalysis 最近发了一条预警： 在最主流的开源大模型推理引擎 vLLM 里面，AMD 抢在英伟达前面，把一项叫做巨型算子解码的技术直接合进了主分支。 这是头一次，开源社区最核心的大模型推理优化，在 AMD 的 ROCm 上跑通了，英伟达的 CUDA 反而还没跟上。

这到底是怎么做到的？ 要弄懂这件事，得先看大模型是怎么吐字的。 我们平时用人工智能，计算过程分为截然不同的两段。 第一段叫预填充，也就是把你输进去的那几百上千字提示词一口气读完。 这时候显卡里塞满了任务，计算核心火力全开，算力基本能跑满。 但第二段就完全不同了，也就是自回归解码阶段。 大模型回答你，必须一个字接着一个字往外蹦。 每蹦一个字，它都要把前面的整段话和整个神经网络从头到尾过一遍。 一个主流的现代大模型，往往有几十层甚至上百层结构。 每一层里面，又被切成了几十个具体的计算步骤：算归一化、算位置编码、算注意力机制、算前馈网络、在多张显卡之间同步数据。 在过去的架构下，算一层模型，显卡要启停大约 40 个独立的计算核心任务。 如果一个大模型有 60 层，为了生成眼前这一个字，显卡就要在几毫秒里连续启动 2400 次任务。 每一次启动，中央处理器都要去敲显卡的门，告诉它去哪块内存取数据、怎么排队、算完存到哪里。 显卡算这一个字只需几微秒，但等指令、开门关门的时间，比真正计算的时间还要长。 更麻烦的是显存的来回倒腾。 由于每次任务都是独立的，前一个任务刚算完的中间结果，显卡不能留在手边的寄存器里，必须大费周章地写回到外面的高带宽显存 HBM。 下一个任务一启动，又得辛辛苦苦把这笔数据从高带宽显存里再读回来。 显卡肚子里的计算单元饿得要命，嘴巴却被内存带宽和调度通知死死卡住了。 这就导致在低并发、高互动的场景下，比如你跟智能体单对单对话、让它一步一步写代码或者做深度推理时，显卡的大半算力只能干瞪眼。

AMD 这次干了什么？ 他们把这一层里原本零散的几十个小任务，直接融合成了一到两个常驻的巨型算子，行业里叫 Mono-Decode。 它就像是在显卡核心里修了一条全封闭的流水线。 任务启动一次之后就不再退出，一直在显卡核心里常驻。 算完注意力机制，中间数据不用再千里迢迢存回高带宽显存，直接在核心内部的高速缓存和寄存器里原地交接，接着算下一道工序。 甚至连多张显卡之间的数据同步，也直接在这条流水线内部跑完。 从原本每层启动 40 次任务，直接压缩到只启动一两次。 中央处理器不用再频繁敲门了，高带宽显存不用频繁进出了，整条流水线在芯片内部高速循环。 结果就是，显卡在单次吐字时的等待时间被砍掉了一大截，每秒生成的字数明显上去了。

这事最让人玩味的地方，在于生态位的悄然翻转。 过去几年，整个半导体行业几乎形成了一个惯性思维： 英伟达不仅硬件强，软件护城河 CUDA 更是坚不可摧。 开源社区无论做出什么神仙优化，都是先为英伟达写代码，等生态成熟了，AMD 再花几个月甚至一年时间，把代码一点点搬运到自己的 ROCm 系统上。 大家把 AMD 当成一个永远在补课的抄作业学生。 但这次在 vLLM 的代码仓库里，AMD 的工程师直接把这套巨型算子解码合并到了主干分支，代码编号 60397。 英伟达官方在这一块的原生支持，反而落在了后面。 SemiAnalysis 之所以专门发警报，就是因为这种攻守异位的局面，在过去几乎不可想象。

不过，这并不意味着 AMD 已经全盘反超了。 把工程细节翻开来看，这项优化目前有着非常明确的适用边界。 它专门瞄准的是解码阶段，而且只在低并发的场景下生效，比如同时处理的行数在 48 行以内，对应一到八个用户的并发互动，或者搭配投机解码的草稿生成。 显卡配置也限定在两卡或四卡张量并行，跑在最新的 CDNA 架构上，比如 MI300X 和 MI355X。 一旦并发量冲上去了，或者到了第一步大批量读提示词的阶段，系统就会自动退回到传统的计算路径。 而且 AMD 这次在代码里守住了严格的计算精度，在 GPQA、AIME 这些高难度测试集上，所有数学结果严丝合缝，没有为了偷速度牺牲哪怕一点准确率。

大模型越往深度推理和智能体走，单字吐出来的延迟就越致命。 如果一个模型要自己调用工具、写几十行代码、在后台默默跑上千步推理循环，每次吐字慢一拍，整套任务就要卡上好几分钟。 这时候，算力峰值再漂亮也没用，能不能把交互延迟压到极致，才是真正见真章的地方。 打破软件护城河，光靠跟在别人后面修补兼容层是走不通的。 AMD 这次在开源主线上的超车，没有去吹宏大的生态口号。 他们只是认准了一个物理死穴，抢在所有人前面，把那条最堵的狭窄通道打穿了。