--- id: "mb-20261018-169ca4" kind: "deep" title: "显存空着80%却喊撑死：伯克利博士生用60年前操作系统老手艺，改写全球50万张GPU的AI推理" topic: "显存空着80%却喊撑死：伯克利博士生用60年前操作系统老手艺，改写全球50万张GPU的AI推理" source_type: "generated" status: "published" generated_at: "2026-10-18 14:04:51" frame_type: ["机制"] legal_anchor_count: 0 transcript_citation_count: 0 --- # 显存空着80%却喊撑死：伯克利博士生用60年前操作系统老手艺，改写全球50万张GPU的AI推理 一张一万多美元的英伟达顶级显卡，跑大模型的时候，显存居然有七八成是空的。 而且系统还会理直气壮地告诉你：显存满了，接不了新请求。 有没有搞错？ 2022 年，加州大学伯克利分校的博士生权佑锡（Woosuk Kwon）盯着屏幕，差点以为自己看错了。 当时 Meta 刚开源了 1750 亿参数的 OPT-175B 大模型。 全网都在抱怨大模型太吃显卡、算力太贵，一张卡一秒钟连一个并发请求都快接不住。 权佑锡觉得代码写得太糙了，想花两个星期顺手优化一下。 谁能想到，这个两星期的课外小项目，后来吸引了 3000 多名开发者。 四年之后，它成了全球最大的开源推理引擎 vLLM，同时跑在全世界大约 50 万张显卡上。 两个星期的业余改造，怎么就滚雪球滚成了 50 万张显卡？ 因为他一上手，就踩到了整个大模型工业界最痛的一根神经：显存碎片。 大模型生成文字，跟人说话一样，是一个字一个字往外蹦的。 每蹦出一个新字，它都得回头把前面说过所有的字重新看一遍。 为了不把前面算过的内容重复算一遍，系统必须把之前所有字的计算中间值存在显存里，这叫 KV 缓存。 只要对话不结束，这个缓存就会越来越大。 这就带来了一个让人头疼的麻烦：你怎么知道用户下一句话要聊多长？ 用户可能就问一句“今天星期几”，三个字就退出了； 也可能突然甩过来一篇上万字的长文，要求逐段翻译。 在 2022 年，主流的模型推理软件走的是最原始的逻辑：给每个用户预先在显存里划出一整块连续的物理空间。 既然事先猜不到你要聊多长，系统只能按最极端的情况去防备。 默认你每次提问都会聊到最大上限，比如直接在显存里硬生生切出 2048 个字的连续大坑。 结果显而易见。 用户聊了三个字就心满意足地走了。 剩下的 2045 个字占着的坑位，就那么大摇大摆地空在显存里，别人用不了，系统也不敢收回。 这就叫内部碎片。 还有更麻烦的外部碎片。 每个用户的请求长短不一，显存被切得坑坑洼洼，全是乱七八糟的碎块。 明明加起来还剩大半张显卡的空闲空间，但因为找不到一块足够长的连续空间，新请求死活挤不进来。 实测数据摆在眼前：当时高档显卡跑大模型，显存的有效利用率只有 20% 到 40%。 高达 60% 到 80% 的昂贵显存，全在白白占着位置。 算力根本没跑满，全被这些空置的坑位给活活憋死了。 这道题要怎么解？ 权佑锡盯着那些被切得稀碎的显存块，突然想通了一件事： 眼前这个让人抓狂的难题，计算机科学界在六十年前不是早就解决过了吗？ 早在 1960 年代，早期计算机的物理内存也很小，运行几个程序就被切得千疮百孔。 当时的操作系统大师们是怎么破局的？ 虚拟内存分页。 操作系统根本不强求把一个程序塞进一整块连续的物理内存里。 它把物理内存切成一个个固定大小的页面，比如 4KB 一页。 程序需要内存的时候，系统就按页分配。 这些页面在物理硬件里爱呆在哪就呆在哪，东一块西一块完全没关系，只要操作系统手里有一张页表，负责把虚拟地址映射过去就行。 既然操作系统管内存可以分页，显卡里的文字缓存为什么不能分页？ 这就是后来改写整个开源 AI 推理生态的算法：PagedAttention。 思路干净利落。 系统把每个请求的 KV 缓存切成固定大小的块，比如一个块专门存 16 个字。 模型每吐出 16 个字，系统才去显存里临时要一个新的小块。 这些小块在显存里完全不需要挨在一起，零零散散塞在任何角落都可以。 显存利用率一下子发生了质变。 原本高达 80% 的浪费，直接被压到了 4% 以下。 显存不浪费了，一张显卡能同时塞进去的并发请求量暴增。 在不牺牲任何生成速度的前提下，显卡的实际吞吐量直接翻了两到四倍。 更绝的是，分页还顺手解决了一个连带问题：公共提示词共享。 很多用户提问时带着一模一样的系统提示词，在旧系统里每个人都得复制一份显存。 分页之后，大家可以直接共享底层的同一组物理页面，连拷贝都省了。 算法写出来了，权佑锡和伯克利的团队把它封装成了开源推理框架 vLLM。 正好赶上 2023 年上半年全球开源大模型大爆发。 伯克利搞了一个测试全球大模型盲测排名的平台 Chatbot Arena，全球网民疯狂涌进去打擂台。 当时实验室穷得叮当响，根本租不起几百上千张昂贵的显卡，后台全靠刚刚出炉的 vLLM 撑着，硬生生用几十张卡扛住了数百万次的访问洪峰。 这一下，整个开源 AI 圈子全看懂了。 不管是大厂还是刚起步的小团队，只要想在私有服务器上高性能跑开源大模型，底层几乎默认标配 vLLM。 四年过去，项目聚集了 3000 多名贡献者。 一个原本只想在两周内写完的小脚本，变成了支撑全球约 50 万张显卡昼夜运转的基础设施。 团队后来从伯克利出来创业成立 Inferact，做跨硬件的大模型推理层，直接拿下了由 a16z 领投的 1.5 亿美元融资，公司估值冲到了 8 亿美元。 站在浪潮里看，很多让人头疼的前沿 AI 难题，最后的突破口，往往藏在几十年前经典计算机科学最朴素的基本功里。 _Rendered by mubei-terminal._