单卡时入38美元与四倍吞吐：拆解DeepSeek开源推理引擎DeepInfer的硬件账本

一张几万美元的顶级显卡跑大模型，一小时到底能赚多少钱？ 很多人以为买显卡做云算力，就是老老实实按小时收租金。 但在真正的大模型机房里，算力是按生成的字数在卖钱。 DeepSeek 最近把内部的推理引擎 DeepInfer 开源了。 随之公布的一份账单，把不少算力从业者看懵了： 在晚上打折的低谷期，他们单张显卡每小时能卖出 38 美元的 token。 而在 2025 年 2 月他们公布 V3 和 R1 模型时，单卡一小时才卖 12.91 美元。 不到两年时间，同样的硬件，产出的价值翻了将近三倍。 单卡生成速度更是冲到了每秒 26,000 个 token，比行业顶级评测基准高出了整整四倍。 显卡还是那个显卡，他们到底动了什么手脚？

显卡算力那么强，为什么平时跑大模型总是喂不饱？ 因为大模型推理，身体里本来就住着两件完全打架的活儿。 第一件叫预填充，也就是读你的提示词。 你扔进去一万字的文章，显卡可以一口吞下去，做大矩阵乘法。 这时候显卡满负荷轰鸣，算力利用率极高。 可一旦进入第二件活，也就是解码，模型开始一个字一个字往外蹦回答，灾难就来了。 生成下一个字，必须依赖上一个字。 这意味着它每蹦出一个字，显卡就得把庞大的模型权重，从显存里完完整整搬运一遍。 算力根本跑不满，全堵在显存带宽这条窄路上。 就像一辆能跑三百公里的超级跑车，开进了早高峰的狭窄胡同，大部分时间只能踩着刹车等绿灯。 如果模型还是现在主流的混合专家架构，情况还会更糟。 几十个专家被分在不同的显卡上。 遇到热门专家，挂着它的显卡忙到冒烟，另外几十张挂着冷门专家的显卡只能在旁边发呆。 钱花出去了，显卡全在摸鱼。

DeepSeek 是怎么把这摊泥潭理顺的？ 第一步，把读提示词和往外蹦字彻底拆开，各干各的。 预填充吃算力，就只用 2 到 8 张显卡组成一个小分队。 因为矩阵乘法本来就能把单卡喂饱，卡给多了，同步通信的开销反而会拖慢进度。 到了蹦字的解码阶段，打法完全倒了过来。 他们直接把 64 张甚至 128 张显卡连在一起，搞超宽的专家并行。 解码本来就卡在显存带宽上，拉进来这么多显卡，通信不会堵车吗？ 这就是最反直觉的地方。 把模型切碎分到 64 张显卡之后，每张卡只需要常驻大约 7 个专家。 而在原来 8 卡配置下，每张卡要死扛 52 个专家。 每生成一个字，单张卡需要从显存读取的权重数据暴跌。 只要显卡之间的互联通信足够快，显存带宽省下来的时间，远远超过了通信增加的损耗。 在维持每秒 240 字的高速吐字时，8 卡配置单卡只能做到每秒 1,900 个 token； 换成 64 卡并行之后，单卡吞吐量直接飙升到 15,700 个。 卡数多了 8 倍，单卡产出效率居然也跟着暴涨了 8 倍。

光在显卡之间切分模型还不够。 真正让这笔账暴赚的另一个关键，是绝不算第二遍。 现在的 AI 编程助手或者智能体，动不动就带着几万甚至十万字的上下文。 每次调用一个工具、返回一个结果，几乎要把前面整段历史原封不动再发一遍给模型。 要是每次都重新预填充算一遍，显卡堆成山也不够用。 DeepSeek 这次公布的生产环境数据里，上下文缓存的命中率达到了 96%。 他们在底层铺了 100PB 的高速固态存储。 算下来，集群里每张在线的显卡，背后都挂着大约 14.4TB 的逻辑缓存空间。 智能体任务的缓存保留 3 天，日常聊天的缓存保留 7 天。 只要上下文被缓存命中，显卡单卡每秒能处理的等效输入 token，直接从 6 万冲到了 150 万。 相当于没动显卡架构，单卡吞吐能力在逻辑上直接被放大了 25 倍。

这么跑下来，一张商业账单就出来了。 按照夜间低谷期报价，处理十亿个 token，能收到大约 14.79 美元的应用程序接口收入。 而真正占用的显卡算力，算上预填充和解码，折合大约 0.38 个显卡小时。 按市面上顶配显卡每小时 3 到 6 美元的租赁价格来算，硬件成本也只要 1.15 到 2.29 美元。 单纯算算力租金，毛利率在 84% 到 92% 之间。 一个集群每天处理 155 万亿个 token，单卡每小时能稳定换回 38 美元。 难怪很多人看完直呼，显卡的价值被活生生拔高了三倍。

那是不是意味着，随便一个团队把这套代码下载下来，也能立刻复刻这种暴利？ 答案可能恰恰相反。 这正是整个开源项目最硬核、也最清醒的工程边界。 DeepSeek 开源出来的 DeepInfer，包含了顶级的底层计算算子、并行调度和推测解码机制。 但支撑这套经济学的核心地基，一个都没在代码仓库里。 那个 100PB 的高速分布式存储集群没有开源，跨机器动态调度请求的负载均衡器没有开源，整套分布式缓存系统也需要自己搭建。 这个开源版本目前只支持离线批处理推理，根本无法直接作为对外的线上服务。 更关键的是硬件门槛。 他们推荐的生产配置，需要 64 张显卡做预填充，配另外 64 张显卡做解码。 起步就是 128 张英伟达旗舰显卡或者华为昇腾 950 处理器。 光采购成本就奔着 900 万美元去了，还没算上机房、电费和极速网络互联。 至于算出来的九成毛利，更是纯粹的硬件级理论值。 它完全没有算进前期动辄几千万美元的基础模型预训练开销、全球网络带宽、存储折旧，以及顶级研发工程师的薪水。

这根本不是给个人开发者或者小作坊准备的现成工具箱。 它更像是一本直接摊在全行业面前的现代 GPU 底层工程教科书。 它把大模型推理的竞争真相摆在了明面上： 比拼的早已不仅是谁的模型参数更大。 在昂贵硬件的物理极限面前，谁能把显存带宽、网络延迟和海量存储之间的每一滴利用率榨干，谁才能把推理成本打到地板上。