{"id":"mb-20261018-169ca4","kind":"deep","title":"显存空着80%却喊撑死：伯克利博士生用60年前操作系统老手艺，改写全球50万张GPU的AI推理","summary":"2022年伯克利博士生权佑锡想花两周给Meta大模型提速，意外发现昂贵GPU显存常年被无用占位符浪费60%到80%。他借鉴1960年代操作系统的虚拟内存分页机制发明PagedAttention，创立开源引擎vLLM。四年后该项目跑在约50万张显卡上，支撑起全球开源AI推理底座。","body":"一张一万多美元的英伟达顶级显卡，跑大模型的时候，显存居然有七八成是空的。\n\n而且系统还会理直气壮地告诉你：显存满了，接不了新请求。\n\n有没有搞错？\n\n2022 年，加州大学伯克利分校的博士生权佑锡（Woosuk Kwon）盯着屏幕，差点以为自己看错了。\n\n当时 Meta 刚开源了 1750 亿参数的 OPT-175B 大模型。\n\n全网都在抱怨大模型太吃显卡、算力太贵，一张卡一秒钟连一个并发请求都快接不住。\n\n权佑锡觉得代码写得太糙了，想花两个星期顺手优化一下。\n\n谁能想到，这个两星期的课外小项目，后来吸引了 3000 多名开发者。\n\n四年之后，它成了全球最大的开源推理引擎 vLLM，同时跑在全世界大约 50 万张显卡上。\n\n两个星期的业余改造，怎么就滚雪球滚成了 50 万张显卡？\n\n因为他一上手，就踩到了整个大模型工业界最痛的一根神经：显存碎片。\n\n大模型生成文字，跟人说话一样，是一个字一个字往外蹦的。\n\n每蹦出一个新字，它都得回头把前面说过所有的字重新看一遍。\n\n为了不把前面算过的内容重复算一遍，系统必须把之前所有字的计算中间值存在显存里，这叫 KV 缓存。\n\n只要对话不结束，这个缓存就会越来越大。\n\n这就带来了一个让人头疼的麻烦：你怎么知道用户下一句话要聊多长？\n\n用户可能就问一句“今天星期几”，三个字就退出了；\n\n也可能突然甩过来一篇上万字的长文，要求逐段翻译。\n\n在 2022 年，主流的模型推理软件走的是最原始的逻辑：给每个用户预先在显存里划出一整块连续的物理空间。\n\n既然事先猜不到你要聊多长，系统只能按最极端的情况去防备。\n\n默认你每次提问都会聊到最大上限，比如直接在显存里硬生生切出 2048 个字的连续大坑。\n\n结果显而易见。\n\n用户聊了三个字就心满意足地走了。\n\n剩下的 2045 个字占着的坑位，就那么大摇大摆地空在显存里，别人用不了，系统也不敢收回。\n\n这就叫内部碎片。\n\n还有更麻烦的外部碎片。\n\n每个用户的请求长短不一，显存被切得坑坑洼洼，全是乱七八糟的碎块。\n\n明明加起来还剩大半张显卡的空闲空间，但因为找不到一块足够长的连续空间，新请求死活挤不进来。\n\n实测数据摆在眼前：当时高档显卡跑大模型，显存的有效利用率只有 20% 到 40%。\n\n高达 60% 到 80% 的昂贵显存，全在白白占着位置。\n\n算力根本没跑满，全被这些空置的坑位给活活憋死了。\n\n这道题要怎么解？\n\n权佑锡盯着那些被切得稀碎的显存块，突然想通了一件事：\n\n眼前这个让人抓狂的难题，计算机科学界在六十年前不是早就解决过了吗？\n\n早在 1960 年代，早期计算机的物理内存也很小，运行几个程序就被切得千疮百孔。\n\n当时的操作系统大师们是怎么破局的？\n\n虚拟内存分页。\n\n操作系统根本不强求把一个程序塞进一整块连续的物理内存里。\n\n它把物理内存切成一个个固定大小的页面，比如 4KB 一页。\n\n程序需要内存的时候，系统就按页分配。\n\n这些页面在物理硬件里爱呆在哪就呆在哪，东一块西一块完全没关系，只要操作系统手里有一张页表，负责把虚拟地址映射过去就行。\n\n既然操作系统管内存可以分页，显卡里的文字缓存为什么不能分页？\n\n这就是后来改写整个开源 AI 推理生态的算法：PagedAttention。\n\n思路干净利落。\n\n系统把每个请求的 KV 缓存切成固定大小的块，比如一个块专门存 16 个字。\n\n模型每吐出 16 个字，系统才去显存里临时要一个新的小块。\n\n这些小块在显存里完全不需要挨在一起，零零散散塞在任何角落都可以。\n\n显存利用率一下子发生了质变。\n\n原本高达 80% 的浪费，直接被压到了 4% 以下。\n\n显存不浪费了，一张显卡能同时塞进去的并发请求量暴增。\n\n在不牺牲任何生成速度的前提下，显卡的实际吞吐量直接翻了两到四倍。\n\n更绝的是，分页还顺手解决了一个连带问题：公共提示词共享。\n\n很多用户提问时带着一模一样的系统提示词，在旧系统里每个人都得复制一份显存。\n\n分页之后，大家可以直接共享底层的同一组物理页面，连拷贝都省了。\n\n算法写出来了，权佑锡和伯克利的团队把它封装成了开源推理框架 vLLM。\n\n正好赶上 2023 年上半年全球开源大模型大爆发。\n\n伯克利搞了一个测试全球大模型盲测排名的平台 Chatbot Arena，全球网民疯狂涌进去打擂台。\n\n当时实验室穷得叮当响，根本租不起几百上千张昂贵的显卡，后台全靠刚刚出炉的 vLLM 撑着，硬生生用几十张卡扛住了数百万次的访问洪峰。\n\n这一下，整个开源 AI 圈子全看懂了。\n\n不管是大厂还是刚起步的小团队，只要想在私有服务器上高性能跑开源大模型，底层几乎默认标配 vLLM。\n\n四年过去，项目聚集了 3000 多名贡献者。\n\n一个原本只想在两周内写完的小脚本，变成了支撑全球约 50 万张显卡昼夜运转的基础设施。\n\n团队后来从伯克利出来创业成立 Inferact，做跨硬件的大模型推理层，直接拿下了由 a16z 领投的 1.5 亿美元融资，公司估值冲到了 8 亿美元。\n\n站在浪潮里看，很多让人头疼的前沿 AI 难题，最后的突破口，往往藏在几十年前经典计算机科学最朴素的基本功里。","topic":"显存空着80%却喊撑死：伯克利博士生用60年前操作系统老手艺，改写全球50万张GPU的AI推理","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-18 14:04:51","legal_anchor_count":0,"transcript_citation_count":0}