---
id: "mb-20260919-ec9a5d"
kind: "deep"
title: "专家分页机制：7倍MoE推理吞吐背后的显存解耦革命"
topic: "专家分页机制：7倍MoE推理吞吐背后的显存解耦革命"
source_type: "generated"
status: "published"
generated_at: "2026-09-19 21:27:35"
frame_type: ["专家显存解耦与专家分页机制（Expert Pag", "机制"]
legal_anchor_count: 0
transcript_citation_count: 0
---

# 专家分页机制：7倍MoE推理吞吐背后的显存解耦革命

跑大模型的人，几乎都默认接受了一个昂贵的常识。
要跑动几百亿、上千亿参数的 MoE 混合专家模型，必须先把海量的模型权重全塞进显存。
显存差几百兆，程序就会直接报错崩溃。
为了把权重完整装下，大家只能疯狂堆卡，做多卡张量并行。
香港中文大学李柏晴团队刚公开的一项系统工作，把这个常识彻底推翻了。
在 8 张 NVIDIA H20 上跑 3550 亿参数的 GLM-4.5，推理吞吐量直接飙升到原生 vLLM 的 7.2 倍。
平均每个 token 的生成时间，缩短了整整 79%。
在 2 张原本连模型都装不下的平价卡 L40S 上，它跑通了 470 亿参数的 Mixtral。
吞吐量达到了专做内存卸载的 KTransformers 的 4.3 倍。
物理显存没有增加。
GPU 卡数没有增加。
模型更没有做牺牲精度的有损量化。
这凭空暴涨的 7 倍吞吐，到底是从哪里挖出来的？

答案藏在当今大模型推理最隐蔽的一场资源错配里。
多数人直觉上觉得，显存的主要任务就是容纳模型权重。
工程现实恰恰相反。
在大模型推理任务里，真正决定吞吐效率的生命线，是动态的 KV 缓存。
离线评测、数据合成、长文本生成，每一个并发请求都要在显存里实时写入上下文。
显存里留给 KV 缓存的空间越大，系统能同时并行处理的请求批次就越高。
但在 MoE 模型里，95% 以上的参数全部分布在各个专家网络中。
现有的主流推理框架做了一个粗暴的设定：
把这 95% 的全部专家权重，从头到尾死死锁在 GPU 显存里。
这就制造了一个极其荒谬的物理现场。

Transformer 网络的计算，在底层是严格按层串行推进的。
一个大模型通常包含几十个计算层。
当 GPU 正在全速计算第 1 层的时候，第 2 层到第 40 层的几百个专家，全都在显存里原地沉睡。
在这个纳秒级的瞬间，它们对计算没有任何贡献。
可它们却蛮横霸占了 95% 的宝贵显存。
负责吞吐并发的 KV 缓存被挤到墙角，容量迅速见底。
系统调度器为了防止显存溢出崩溃，只能强行腰斩活跃并发批次。
就算你提交了 256 个并发请求，显存也只能逼着调度器每次放出几个任务。
算力强悍的 GPU 核心，大半时间都在干等。
加卡堆显存能解决吗？
李柏晴团队在论文里给出了残酷的数据：
把 Qwen3 80B 从 2 张 H20 扩展到 8 张卡，单卡吞吐量反而暴跌了 62.4%。
卡间通信的开销，直接吃光了堆卡带来的红利。

论文给出的破局机器，叫专家分页（Expert Paging）。
核心的工程洞察只有一句话：
为什么所有图层的专家，必须同时挤在物理显存里？
模型在显存里的存在形式，应当被拆解为两个部分：
静态的计算图，加上流式供给的动态权重。
整台机器由三个严密的齿轮协同咬合。
第一个齿轮，是骨干网络留守与执行流水线重叠。
注意力机制等非专家网络只占总参数的 4% 左右，永久驻留显存。
当 GPU 在执行注意力计算时，天然留出了一段宝贵的毫秒级时间窗。
就在这个窗口期内，系统通过后台管道，把下一层即将点名的专家权重悄悄拉进显存。
第二个齿轮，是虚拟内存映射 PagedTensor。
权重频繁进出，底层的 PyTorch 和算子代码完全不用重写。
系统调用 CUDA 虚拟内存管理，给所有专家分配不变的稳定虚拟地址。
底层物理显存里，仅仅保留 2 个图层大小的物理缓冲块做轮替复用。
算完当前层，缓冲块当即释放，无缝让位给下一个图层。
第三个齿轮，是带宽均衡的存储分级。
光靠 PCIe 通道搬运，传输速度跟不上 GPU 的吞吐。
系统在显存中开辟了一块无损压缩层，针对浮点数指数位做离线霍夫曼编码，在显存内实现高达 400 GB/s 的实时无损解压。
显存解压与主机内存搬运两路并行，流量与各自带宽精确匹配。

这套解耦机制落地的瞬间，显存的产权结构被彻底颠覆了。
原本被几百个沉睡专家长期霸占的物理显存，全数归还给了 KV 缓存。
并发批次被彻底释放，GPU 的计算单元终于被真正喂饱。
六十年前，曼彻斯特大学的工程师为了打破物理内存上限，发明了虚拟内存与分页机制，让现代操作系统脱胎换骨。
六十年后，面对数千亿参数的膨胀压力，同样的体系结构思想在 GPU 显存里再次重现。
把显存当成囤积权重的静态仓库，从一开始就陷入了物理的死胡同。
显存真正的价值，是承载动态思考与上下文吞吐的流动跑道。
一旦将沉重的静态权重还原为按需涌现的水流，困扰整个产业的算力与显存瓶颈，立刻露出了完全不同的物理本质。

_Rendered by mubei-terminal._