{"title":"本地大模型要多少显存？从权重、KV cache 到推理速度","description":"按权重、上下文缓存和运行开销估算显存，再区分单人响应速度与多人吞吐量。附 KV cache、连续批处理和量化的一手资料。","reviewedOn":"2026-10-16","intro":"模型文件能放进显存，只回答了能不能加载。要判断能否完成你的任务，还要给上下文缓存和运行时留空间，并在相同模型、上下文长度与并发数下测量速度。先按下面的顺序排查，再决定是否需要更大的硬件。","readingNote":"以下解读从权重搬运、MoE 稀疏激活、KV cache 压缩与连续批处理切入。阅读时请区分模型架构、批大小与缓存策略；不能把所有模型概括为每个 token 都完整读取全部权重。","sections":[{"id":"capacity","title":"先算权重，再给上下文留空间","paragraphs":["一个便于心算的起点：权重字节数约等于参数数量 × 每个参数的位数 ÷ 8。例如，80 亿参数全部按 4 位存储，原始权重约为 4 GB（十进制）。这是算术示例，不是某个模型的实测显存要求；实际量化文件还有分组尺度等额外数据，也可能混用不同精度。","实际运行还需要 KV cache、计算缓冲区和框架开销。KV cache 保存注意力计算中可复用的键和值；它的大小受架构、上下文长度、精度和并发影响。滑动窗口等架构又有不同的增长边界，因此不能给所有模型套一个固定的额外显存百分比。"],"sources":[{"title":"Hugging Face：KV cache 策略与内存取舍","url":"https://huggingface.co/docs/transformers/kv_cache"}]},{"id":"context","title":"短对话能跑，长文为什么可能放不下？","paragraphs":["下载文件的大小不会随着对话变长而变化，上下文缓存却可能增长。先记录模型、量化格式、上下文上限和同时处理的请求数，再用真实长度的输入测峰值内存。仅凭成功加载或一次短问答，不能判断长文任务是否可用。","缓存量化、把缓存移到 CPU、缩短上下文，都可能减少 GPU 内存压力，但速度与精度的取舍不同。先确认推理框架和具体模型支持哪种策略，再比较相同任务的结果；权重量化和 KV cache 量化是两件事。"],"sources":[{"title":"Hugging Face：缓存卸载与量化","url":"https://huggingface.co/docs/transformers/kv_cache#cache-offloading"}]},{"id":"moe","title":"MoE 稀疏激活与内存卸载：能跑起来，但带宽决定上限","paragraphs":["混合专家（MoE）模型把总参数量拆成多个专家层，每个 token 只激活其中一小部分参数。例如总参数上百亿乃至数百亿的 MoE 模型，单次前向计算实际参与乘加运算的活跃参数可能只有几十亿。因此，即使全部权重放不进独立显存，借由系统内存（RAM）或统一内存存放非活跃专家，家用机器也能把超大模型跑起来。","但能加载不等于没有瓶颈：完整权重仍需常驻内存或显存，长上下文下的 KV cache（除采用 MLA 等低秩压缩架构外）依然占用可观空间；跨 PCIe 总线或低带宽系统内存搬运激活专家权重时，生成速度仍受内存带宽与路由命中率约束。"],"sources":[{"title":"DeepSeek-V2：MLA 多头潜在注意力与 MoE 显存压缩论文","url":"https://arxiv.org/abs/2405.04434"}]},{"id":"serving","title":"多人吞吐量提高，不等于你的回答同比变快","paragraphs":["单人使用时，关注等待第一个 token 的时间，以及随后生成的速度。多人服务还要看整个系统每秒完成多少工作、请求排队多久。比较宣传中的加速倍数前，先确认它量的是单请求延迟还是总吞吐量，以及测试的批大小和输入输出长度。","Orca 把服务调度细化到生成迭代，使请求不必全部等到一整批完成后才能调度。vLLM 的 PagedAttention 则着重减少 KV cache 的内存浪费，为更多请求共同运行创造条件。两者改善的是具体服务瓶颈，论文里的加速结果不能直接当作家用电脑的速度承诺。"],"sources":[{"title":"USENIX OSDI 2022：Orca 论文","url":"https://www.usenix.org/conference/osdi22/presentation/yu"},{"title":"PagedAttention / vLLM 原论文","url":"https://arxiv.org/abs/2309.06180"}]},{"id":"quality","title":"压缩后还要用真实任务验收","paragraphs":["llama.cpp 的重要性矩阵工具会从校准数据收集信息，供量化过程使用。选择更低位数后，文件变小并不自动证明任务质量足够；自然语言问答表现也不能替代代码或工具调用测试。","保留一组你确实会执行的任务，对照不同量化版本的答案、格式正确率和内存用量。如果工具调用失败，分别检查模型能力、聊天模板、工具定义、运行框架与量化影响，不能仅凭一次失败就归因于校准文本。"],"sources":[{"title":"llama.cpp：重要性矩阵工具文档","url":"https://github.com/ggml-org/llama.cpp/blob/master/tools/imatrix/README.md"}]}],"path":"/guides/local-llm-memory","reading":[{"title":"把一个千亿 MoE 大模型的推理算力砍掉一半，代码里只需要改一个整数","path":"/deep/mb-20260907-b3f5dd"},{"title":"同一个 27B 大模型压缩到 15G 显存放本地跑，写百科顺理成章，一调工具就格式崩溃","path":"/deep/mb-20260830-ab2317"},{"title":"英特尔给新显卡堆了 480 GB 显存，却在发布现场对最核心的内存带宽闭口不提","path":"/deep/mb-20260830-693a50"},{"title":"大模型每生成一个词，芯片都要把全部模型参数从显存里完整搬运一遍","path":"/deep/mb-20260830-ff036c"},{"title":"在一颗售价不足一美元、内存只有 520 KB 的单片机芯片上，跑通了生成逼真人脸的 Transformer 图像模型","path":"/deep/mb-20260828-1e424a"}]}