---
id: "mb-20261103-0a80f2"
kind: "deep"
title: "单卡时入38美元与四倍吞吐：拆解DeepSeek开源推理引擎DeepInfer的硬件账本"
description: "DeepSeek开源核心推理引擎DeepInfer，展示了单卡每秒2.6万token吞吐与每小时38美元的收入账单。本文深入剖析其预填充与解码解耦、超宽专家并行打破显存带宽瓶颈、100PB存储支撑96%缓存命中率的底层机制，并揭示128张显卡起步与未开源集群调度的真实工程边界。"
domain: "ai"
domain_label: "AI 与大模型"
canonical_url: "https://mubeitech.com/deep/mb-20261103-0a80f2"
markdown_url: "https://mubeitech.com/deep/mb-20261103-0a80f2/markdown"
json_url: "https://mubeitech.com/api/interpretations/mb-20261103-0a80f2"
topic: "单卡时入38美元与四倍吞吐：拆解DeepSeek开源推理引擎DeepInfer的硬件账本"
source_type: "generated"
status: "published"
generated_at: "2026-11-03 21:06:55"
frame_type: ["机制"]
legal_anchor_count: 0
transcript_citation_count: 0
---

# 单卡时入38美元与四倍吞吐：拆解DeepSeek开源推理引擎DeepInfer的硬件账本

一张几万美元的顶级显卡跑大模型，一小时到底能赚多少钱？
很多人以为买显卡做云算力，就是老老实实按小时收租金。
但在真正的大模型机房里，算力是按生成的字数在卖钱。
DeepSeek 最近把内部的推理引擎 DeepInfer 开源了。
随之公布的一份账单，把不少算力从业者看懵了：
在晚上打折的低谷期，他们单张显卡每小时能卖出 38 美元的 token。
而在 2025 年 2 月他们公布 V3 和 R1 模型时，单卡一小时才卖 12.91 美元。
不到两年时间，同样的硬件，产出的价值翻了将近三倍。
单卡生成速度更是冲到了每秒 26,000 个 token，比行业顶级评测基准高出了整整四倍。
显卡还是那个显卡，他们到底动了什么手脚？

显卡算力那么强，为什么平时跑大模型总是喂不饱？
因为大模型推理，身体里本来就住着两件完全打架的活儿。
第一件叫预填充，也就是读你的提示词。
你扔进去一万字的文章，显卡可以一口吞下去，做大矩阵乘法。
这时候显卡满负荷轰鸣，算力利用率极高。
可一旦进入第二件活，也就是解码，模型开始一个字一个字往外蹦回答，灾难就来了。
生成下一个字，必须依赖上一个字。
这意味着它每蹦出一个字，显卡就得把庞大的模型权重，从显存里完完整整搬运一遍。
算力根本跑不满，全堵在显存带宽这条窄路上。
就像一辆能跑三百公里的超级跑车，开进了早高峰的狭窄胡同，大部分时间只能踩着刹车等绿灯。
如果模型还是现在主流的混合专家架构，情况还会更糟。
几十个专家被分在不同的显卡上。
遇到热门专家，挂着它的显卡忙到冒烟，另外几十张挂着冷门专家的显卡只能在旁边发呆。
钱花出去了，显卡全在摸鱼。

DeepSeek 是怎么把这摊泥潭理顺的？
第一步，把读提示词和往外蹦字彻底拆开，各干各的。
预填充吃算力，就只用 2 到 8 张显卡组成一个小分队。
因为矩阵乘法本来就能把单卡喂饱，卡给多了，同步通信的开销反而会拖慢进度。
到了蹦字的解码阶段，打法完全倒了过来。
他们直接把 64 张甚至 128 张显卡连在一起，搞超宽的专家并行。
解码本来就卡在显存带宽上，拉进来这么多显卡，通信不会堵车吗？
这就是最反直觉的地方。
把模型切碎分到 64 张显卡之后，每张卡只需要常驻大约 7 个专家。
而在原来 8 卡配置下，每张卡要死扛 52 个专家。
每生成一个字，单张卡需要从显存读取的权重数据暴跌。
只要显卡之间的互联通信足够快，显存带宽省下来的时间，远远超过了通信增加的损耗。
在维持每秒 240 字的高速吐字时，8 卡配置单卡只能做到每秒 1,900 个 token；
换成 64 卡并行之后，单卡吞吐量直接飙升到 15,700 个。
卡数多了 8 倍，单卡产出效率居然也跟着暴涨了 8 倍。

光在显卡之间切分模型还不够。
真正让这笔账暴赚的另一个关键，是绝不算第二遍。
现在的 AI 编程助手或者智能体，动不动就带着几万甚至十万字的上下文。
每次调用一个工具、返回一个结果，几乎要把前面整段历史原封不动再发一遍给模型。
要是每次都重新预填充算一遍，显卡堆成山也不够用。
DeepSeek 这次公布的生产环境数据里，上下文缓存的命中率达到了 96%。
他们在底层铺了 100PB 的高速固态存储。
算下来，集群里每张在线的显卡，背后都挂着大约 14.4TB 的逻辑缓存空间。
智能体任务的缓存保留 3 天，日常聊天的缓存保留 7 天。
只要上下文被缓存命中，显卡单卡每秒能处理的等效输入 token，直接从 6 万冲到了 150 万。
相当于没动显卡架构，单卡吞吐能力在逻辑上直接被放大了 25 倍。

这么跑下来，一张商业账单就出来了。
按照夜间低谷期报价，处理十亿个 token，能收到大约 14.79 美元的应用程序接口收入。
而真正占用的显卡算力，算上预填充和解码，折合大约 0.38 个显卡小时。
按市面上顶配显卡每小时 3 到 6 美元的租赁价格来算，硬件成本也只要 1.15 到 2.29 美元。
单纯算算力租金，毛利率在 84% 到 92% 之间。
一个集群每天处理 155 万亿个 token，单卡每小时能稳定换回 38 美元。
难怪很多人看完直呼，显卡的价值被活生生拔高了三倍。

那是不是意味着，随便一个团队把这套代码下载下来，也能立刻复刻这种暴利？
答案可能恰恰相反。
这正是整个开源项目最硬核、也最清醒的工程边界。
DeepSeek 开源出来的 DeepInfer，包含了顶级的底层计算算子、并行调度和推测解码机制。
但支撑这套经济学的核心地基，一个都没在代码仓库里。
那个 100PB 的高速分布式存储集群没有开源，跨机器动态调度请求的负载均衡器没有开源，整套分布式缓存系统也需要自己搭建。
这个开源版本目前只支持离线批处理推理，根本无法直接作为对外的线上服务。
更关键的是硬件门槛。
他们推荐的生产配置，需要 64 张显卡做预填充，配另外 64 张显卡做解码。
起步就是 128 张英伟达旗舰显卡或者华为昇腾 950 处理器。
光采购成本就奔着 900 万美元去了，还没算上机房、电费和极速网络互联。
至于算出来的九成毛利，更是纯粹的硬件级理论值。
它完全没有算进前期动辄几千万美元的基础模型预训练开销、全球网络带宽、存储折旧，以及顶级研发工程师的薪水。

这根本不是给个人开发者或者小作坊准备的现成工具箱。
它更像是一本直接摊在全行业面前的现代 GPU 底层工程教科书。
它把大模型推理的竞争真相摆在了明面上：
比拼的早已不仅是谁的模型参数更大。
在昂贵硬件的物理极限面前，谁能把显存带宽、网络延迟和海量存储之间的每一滴利用率榨干，谁才能把推理成本打到地板上。

_Canonical: <https://mubeitech.com/deep/mb-20261103-0a80f2> · Source: 墓碑科技 MUBEITECH (mubeitech.com)_
_Rendered by mubei-terminal._