{"id":"mb-20260919-ec9a5d","kind":"deep","title":"专家分页机制：7倍MoE推理吞吐背后的显存解耦革命","summary":"针对大模型MoE架构中95%以上闲置专家权重死锁GPU显存、严重挤压KV缓存并发空间的系统痛点，香港中文大学李柏晴团队提出FluxMoE。通过虚拟内存重映射、带宽均衡分级流式传输与双缓冲机制，将静态巨石权重解耦为按需分页流，在8卡H20上实现GLM-4.5推理吞吐7.2倍暴涨与79%延迟降低。","body":"跑大模型的人，几乎都默认接受了一个昂贵的常识。\n要跑动几百亿、上千亿参数的 MoE 混合专家模型，必须先把海量的模型权重全塞进显存。\n显存差几百兆，程序就会直接报错崩溃。\n为了把权重完整装下，大家只能疯狂堆卡，做多卡张量并行。\n香港中文大学李柏晴团队刚公开的一项系统工作，把这个常识彻底推翻了。\n在 8 张 NVIDIA H20 上跑 3550 亿参数的 GLM-4.5，推理吞吐量直接飙升到原生 vLLM 的 7.2 倍。\n平均每个 token 的生成时间，缩短了整整 79%。\n在 2 张原本连模型都装不下的平价卡 L40S 上，它跑通了 470 亿参数的 Mixtral。\n吞吐量达到了专做内存卸载的 KTransformers 的 4.3 倍。\n物理显存没有增加。\nGPU 卡数没有增加。\n模型更没有做牺牲精度的有损量化。\n这凭空暴涨的 7 倍吞吐，到底是从哪里挖出来的？\n\n答案藏在当今大模型推理最隐蔽的一场资源错配里。\n多数人直觉上觉得，显存的主要任务就是容纳模型权重。\n工程现实恰恰相反。\n在大模型推理任务里，真正决定吞吐效率的生命线，是动态的 KV 缓存。\n离线评测、数据合成、长文本生成，每一个并发请求都要在显存里实时写入上下文。\n显存里留给 KV 缓存的空间越大，系统能同时并行处理的请求批次就越高。\n但在 MoE 模型里，95% 以上的参数全部分布在各个专家网络中。\n现有的主流推理框架做了一个粗暴的设定：\n把这 95% 的全部专家权重，从头到尾死死锁在 GPU 显存里。\n这就制造了一个极其荒谬的物理现场。\n\nTransformer 网络的计算，在底层是严格按层串行推进的。\n一个大模型通常包含几十个计算层。\n当 GPU 正在全速计算第 1 层的时候，第 2 层到第 40 层的几百个专家，全都在显存里原地沉睡。\n在这个纳秒级的瞬间，它们对计算没有任何贡献。\n可它们却蛮横霸占了 95% 的宝贵显存。\n负责吞吐并发的 KV 缓存被挤到墙角，容量迅速见底。\n系统调度器为了防止显存溢出崩溃，只能强行腰斩活跃并发批次。\n就算你提交了 256 个并发请求，显存也只能逼着调度器每次放出几个任务。\n算力强悍的 GPU 核心，大半时间都在干等。\n加卡堆显存能解决吗？\n李柏晴团队在论文里给出了残酷的数据：\n把 Qwen3 80B 从 2 张 H20 扩展到 8 张卡，单卡吞吐量反而暴跌了 62.4%。\n卡间通信的开销，直接吃光了堆卡带来的红利。\n\n论文给出的破局机器，叫专家分页（Expert Paging）。\n核心的工程洞察只有一句话：\n为什么所有图层的专家，必须同时挤在物理显存里？\n模型在显存里的存在形式，应当被拆解为两个部分：\n静态的计算图，加上流式供给的动态权重。\n整台机器由三个严密的齿轮协同咬合。\n第一个齿轮，是骨干网络留守与执行流水线重叠。\n注意力机制等非专家网络只占总参数的 4% 左右，永久驻留显存。\n当 GPU 在执行注意力计算时，天然留出了一段宝贵的毫秒级时间窗。\n就在这个窗口期内，系统通过后台管道，把下一层即将点名的专家权重悄悄拉进显存。\n第二个齿轮，是虚拟内存映射 PagedTensor。\n权重频繁进出，底层的 PyTorch 和算子代码完全不用重写。\n系统调用 CUDA 虚拟内存管理，给所有专家分配不变的稳定虚拟地址。\n底层物理显存里，仅仅保留 2 个图层大小的物理缓冲块做轮替复用。\n算完当前层，缓冲块当即释放，无缝让位给下一个图层。\n第三个齿轮，是带宽均衡的存储分级。\n光靠 PCIe 通道搬运，传输速度跟不上 GPU 的吞吐。\n系统在显存中开辟了一块无损压缩层，针对浮点数指数位做离线霍夫曼编码，在显存内实现高达 400 GB/s 的实时无损解压。\n显存解压与主机内存搬运两路并行，流量与各自带宽精确匹配。\n\n这套解耦机制落地的瞬间，显存的产权结构被彻底颠覆了。\n原本被几百个沉睡专家长期霸占的物理显存，全数归还给了 KV 缓存。\n并发批次被彻底释放，GPU 的计算单元终于被真正喂饱。\n六十年前，曼彻斯特大学的工程师为了打破物理内存上限，发明了虚拟内存与分页机制，让现代操作系统脱胎换骨。\n六十年后，面对数千亿参数的膨胀压力，同样的体系结构思想在 GPU 显存里再次重现。\n把显存当成囤积权重的静态仓库，从一开始就陷入了物理的死胡同。\n显存真正的价值，是承载动态思考与上下文吞吐的流动跑道。\n一旦将沉重的静态权重还原为按需涌现的水流，困扰整个产业的算力与显存瓶颈，立刻露出了完全不同的物理本质。","topic":"专家分页机制：7倍MoE推理吞吐背后的显存解耦革命","frame_type":["专家显存解耦与专家分页机制（Expert Pag","机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-09-19 21:27:35","legal_anchor_count":0,"transcript_citation_count":0}