{"id":"mb-20261021-6850e7","kind":"deep","title":"单卡每小时创收38美元：DeepSeek把大模型推理变成印钞机的流水线秘密","summary":"很多人以为大模型推理卖接口是一门流血补贴的重资产亏损生意。随着DeepInfer开源与单集群日处理155万亿token、谷时单卡创收38美元数据的公开，工程层面的工业级重构浮出水面。通过读写计算彻底分离、72小时超长外置缓存与毫秒级动态负载均衡，大模型推理正被彻底改造成高确定性、高回报的现代制造装配线。","body":"一张跑大模型的顶级显卡，租一个小时市价大概两三美元。\n但如果让它满负荷跑推理，一个小时到底能赚回多少钱？\n三十八美元。\n关键是，这还是按夜间打折的谷时电价算出来的。\n照这个流水跑下去，单张显卡一天就能进账九百多美元。\n一张几万美元的显卡，连续跑上两个月，买硬件的本钱就全部回来了。\n很多人一直以为做大模型是在赔本赚吆喝，卖接口是在流血补贴。\n直到 DeepSeek 把他们内部的推理引擎 DeepInfer 开源，顺手把生产集群的账本公开，大家才发现算力生意的底牌全变了。\n一个集群，每天处理 155 万亿个 token。\n平均每张显卡每小时创收 38 美元。\n他们是怎么把一台出了名能吞钱的吞金兽，硬生生调教成印钞机的？\n这事跟换了什么绝密芯片没关系。\n他们把大模型推理当成了一座精密工厂来排布流水线。\n大模型跑推理，包含两个截然不同的动作。\n第一个动作是读上下文，也就是把用户输入的几万字提示词先吃进去。\n这个阶段计算量极大，显卡要把所有的文字并行算一遍，属于算力密集型任务。\n第二个动作是往外吐字，也就是一个词一个词地往外蹦。\n这个阶段每蹦一个词，显卡都要把几百 GB 的模型权重在显存里重新刷一遍，算力其实没用上多少，全在等显存带宽倒腾数据。\n传统做法把这两个动作混在一台机器里跑，显卡一会儿算力跑满显存闲着，一会儿显存挤爆算力闲着。\nDeepSeek 的第一手操作，是把这两个阶段彻底分家。\n读上下文的阶段，用普通的 8 卡机器组成小分队。\n显卡少，通信开销低，矩阵乘法效率拉满，专门负责大力出奇迹。\n等到吐字生成的阶段，他们把 64 张甚至 128 张显卡连成超大节点。\n这是 5520 亿总参数的模型，吐字时只激活 160 亿参数。\n他们把这几百位专家打散在 128 张卡上，每张卡只需要负责很小一部分模型权重。\n访存压力瞬间降下来，吐字速度翻倍往上涨。\n但这还不够。\n最值钱的操作，在后面。\n平时大伙用大模型，或者让 AI 代理帮你干活，都是多轮对话。\n如果不存历史记录，用户每说一句话，系统就得把前面聊过的二十几页记录重新给显卡读一遍。\n大部分公司舍不得存，因为显卡的高带宽显存太贵了，存几轮就爆满了。\n有的公司存进单机内存，机器一重启或者任务一切换，数据全丢了。\nDeepSeek 直接在显卡集群旁边，专门配了一套超大容量的存储集群。\n他们用了自研的 3FS 分布式文件系统，每台存储服务器塞进 20 块大容量固态硬盘，单机提供 600 多 TB 的空间。\n用户和 AI 聊天的缓存数据，直接留在高速硬盘里。\n对话代理的记录能保留 3 天，日常聊天的记录能保留 7 天。\n这套专用存储集群通过高速网络和所有计算卡直连，输入缓存命中率高达 96%。\n这意味着什么？\n用户发送请求的时候，96% 的历史上下文根本不需要显卡重新动脑子算一遍。\n存储系统直接通过网络卡把预先算好的数据快速喂进显存，显卡只需要算新发过来的那两句话。\n算力被省下来，全部用来接新客。\n那要是赶上热点事件，成千上万的人同时提问，某几位专家模块被挤爆了怎么办？\n他们搞了一套动态负载均衡。\n每张显卡里除了平时固定的专家，还专门预留几个备用坑位。\n系统每跑一千步就统计一次热度。\n一旦发现哪个专家被点名的次数暴涨，立刻通过内部高速通道，把这个专家的权重复制一份扔到备用卡上，大家一起分担流量。\n最慢的一张卡和平均负载的差距，被死死按在 10% 以内。\n没有一张卡在排队堵车，也没有一张卡在摸鱼打瞌睡。\n155 万亿的日吞吐量，每小时 38 美元的单卡收益，不是靠烧钱赌运气堆出来的。\n当别人还在把大模型当成玄学实验的时候，有人已经把它拆解成了成本、带宽、缓存和流水线的工业装配。\n把每一个字节的搬运和等待都压榨干净，算力的重资产包袱，才能变成落进口袋里的真金白银。","topic":"单卡每小时创收38美元：DeepSeek把大模型推理变成印钞机的流水线秘密","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-21 08:21:12","legal_anchor_count":0,"transcript_citation_count":0,"seo_title":"单卡每小时创收38美元：DeepSeek把大模型推理变成印钞机的流水线秘密","description":"很多人以为大模型推理卖接口是一门流血补贴的重资产亏损生意。随着DeepInfer开源与单集群日处理155万亿token、谷时单卡创收38美元数据的公开，工程层面的工业级重构浮出水面。通过读写计算彻底分离、72小时超长外置缓存与毫秒级动态负载均衡，大模型推理正被彻底改造成高确定性、高回报的现代制造装配线。","domain":"ai","domain_label":"AI 与大模型","domain_label_en":"AI & LLMs","domain_url":"https://mubeitech.com/deep?domain=ai","canonical_url":"https://mubeitech.com/deep/mb-20261021-6850e7","markdown_url":"https://mubeitech.com/deep/mb-20261021-6850e7/markdown","json_url":"https://mubeitech.com/api/interpretations/mb-20261021-6850e7","published_at":"2026-10-21T08:21:12Z"}