DeepSeek开源推理引擎DeepInfer：单卡38美元背后的算力缓存与云生态

花 1 美元，能让 AI 写出多少字？

整套《哈利·波特》七本书加起来，一共一百多万字。 在 DeepSeek 这里，花 1 美元买到的 AI 生成字数，比这七本书全部加起来还要多。 更绝的是，卖这个白菜价的公司，居然还在大赚特赚。 它们刚刚公布了一份生产环境的真实账本： 在自己的算力集群里，平均每张显卡每小时能进账 38 美元。 而在市场上租一张同级别的顶级显卡，每小时大概只要 8 美元。 注意，这 38 美元用的还是夜间闲时的半价计算出来的。 扣掉租卡成本，单卡毛利率高得有点离谱。

很多人就纳闷了： 一个把价格打到骨折的公司，凭什么能赚出硬件租金将近五倍的营收？ 答案其实就两个字：记性。

平时我们用大模型聊天，或者让智能体帮忙写代码，很容易忽略一个细节。 每当你发一条新指令，或者写代码的智能体往前走一步，模型都得把前面的整段对话记录，甚至几万行代码从头到尾重新读一遍。 在显卡的眼里，生成新回答是在写字，重读历史记录是在翻书。 真正耗费算力、挤占显存带宽的，正是前面一遍又一遍重读上下文。 最后写出来的那两句回答，花销反而很小。 如果每次都让显卡重新算一遍输入，芯片大部分时间都在干不赚钱的重复劳动。

那 DeepSeek 怎么解决的？ 它根本不重复算，直接把读过的内容存下来。 大部分大模型厂商为了腾出昂贵的显存，上下文缓存通常只放几分钟到几小时，超时就清空。 下一次你再提问，显卡又得重新读一遍。 DeepSeek 干脆搭了一套极其庞大的独立存储系统。 整整 100 PB 容量的超高速固态硬盘，什么都不干，专门用来存算好的上下文缓存。 智能体写代码的记忆，在硬盘里保留 3 天。 普通聊天的对话记忆，在硬盘里保留 7 天。

这套操作能省出多大空间？ 只要你发过来的提示词命中了缓存，直接从固态硬盘里调取数据，每百万个 token 的处理成本只要 0.003 美元。 如果让显卡每次从头硬算一遍，成本是 0.15 美元。 整整省掉了五十倍。 因为输入端有差不多 96% 的内容都直接命中了缓存，显卡根本不用把时间浪费在翻旧账上。 所有的计算核心都可以全天候拉满，一刻不停地做那件用户真正掏钱的事：写新答案。 就靠着这种把存储和计算彻底拆开的搞法，DeepSeek 的单套集群一天能处理 155 万亿个 token。 很多人对这个体量没有概念。 今年 5 月谷歌公布过一个数字，把全公司所有 AI 产品的用量加在一起，一天大概是 107 万亿个 token。 换句话说，DeepSeek 这一套集群吞吐的量，就超过了整个谷歌所有产品的总和。

弄明白这笔算力账，再看它们最近开源的动作，就更有意思了。 DeepSeek 这次把自家的推理引擎 DeepInfer 彻底免费开源，底层的自研算子也全放了出来。 不少开发者一开始特别兴奋，想着赶紧下载下来在自己机器上跑。 但翻开项目的说明文档，细看才会发现门道。 文档里明确列出了要搭起完整服务还缺的三样东西。 其中最重要的两样，一个是跨多天缓存的分布式存储管理系统，另一个是全局流量调度器。 DeepSeek 的解释也很坦诚：这两套代码跟公司内部系统咬合得太紧，没办法单独切出来公开，只能写文档把原理讲一遍。

而且，这套系统普通人根本玩不起。 DeepSeek 官方给出的最小有效部署单元，是 128 张显卡。 64 张专门用来读输入提示词，64 张专门用来生成回答。 按每张卡每小时 8 美元的租金算，在没有一个客户下单之前，光把这 128 张卡点亮，一个小时就得烧掉一千多美元。 这根本不是给个人开发者放在家里跑的。

那它们大费周章地把推理引擎开源，到底是给谁看的？ 答案是全球的云计算厂商。 在开源推理引擎的同时，DeepSeek 还同步放出了另一个叫 deepseek-recipe 的配套工具。 这个工具的作用，就是把提示词编码和接口格式彻底标准化，让任何人在第三方服务器上部署的模型，输出表现都跟 DeepSeek 官方接口一模一样。 DeepSeek 的产品研发负责人崔天翼在文档里写道，希望全球有算力的公司都能把 DeepSeek 模型跑起来，并且能靠它赚到钱。

现在全世界各大数据中心里，摆满了昂贵的英伟达 Blackwell 显卡，各家云厂商都在发愁怎么把这些天价芯片变现。 DeepSeek 甩出这笔每小时 38 美元的单卡收益账单，就是给这批拥有算力的人看的一份极具诱惑力的生意计划书。 一旦全球的云厂商纷纷心动、进场部署，DeepSeek 的模型就会顺理成章地跑遍全世界的数据中心。 一间海外机房都不用自己建，全球的算力都在替它的生态打工。 而那套能在后台把 100 PB 缓存和流量调度到极致、真正撑起 38 美元利润的核心代码，依然稳稳地留在了杭州。