--- id: "raw_707e5af37c17e666" title: "一张跑大模型的顶级显卡，租一个小时市价大概两三美元。 但如果让它满负荷跑推理，一个小时到底能赚回多少钱？ 三十八美元。…" account: "mubei" brand: "@mubei" category: "其它" category_slug: "other" score: 100 published_at: "2026-10-20 23:13:41" translated_x_url: "https://x.com/i/status/2112796862923022817" canonical_url: "https://mubeitech.com/p/raw_707e5af37c17e666" markdown_url: "https://mubeitech.com/p/raw_707e5af37c17e666/markdown" json_url: "https://mubeitech.com/api/posts/raw_707e5af37c17e666" ai_primary_content: "canonical_article_body" ai_citation_policy: "cite canonical_url or markdown_url" --- # 一张跑大模型的顶级显卡，租一个小时市价大概两三美元。 但如果让它满负荷跑推理，一个小时到底能赚回多少钱？ 三十八美元。… 一张跑大模型的顶级显卡，租一个小时市价大概两三美元。 但如果让它满负荷跑推理，一个小时到底能赚回多少钱？ 三十八美元。 关键是，这还是按夜间打折的谷时电价算出来的。 照这个流水跑下去，单张显卡一天就能进账九百多美元。 一张几万美元的显卡，连续跑上两个月，买硬件的本钱就全部回来了。 很多人一直以为做大模型是在赔本赚吆喝，卖接口是在流血补贴。 直到 DeepSeek 把他们内部的推理引擎 DeepInfer 开源，顺手把生产集群的账本公开，大家才发现算力生意的底牌全变了。 一个集群，每天处理 155 万亿个 token。 平均每张显卡每小时创收 38 美元。 他们是怎么把一台出了名能吞钱的吞金兽，硬生生调教成印钞机的？ 这事跟换了什么绝密芯片没关系。 他们把大模型推理当成了一座精密工厂来排布流水线。 大模型跑推理，包含两个截然不同的动作。 第一个动作是读上下文，也就是把用户输入的几万字提示词先吃进去。 这个阶段计算量极大，显卡要把所有的文字并行算一遍，属于算力密集型任务。 第二个动作是往外吐字，也就是一个词一个词地往外蹦。 这个阶段每蹦一个词，显卡都要把几百 GB 的模型权重在显存里重新刷一遍，算力其实没用上多少，全在等显存带宽倒腾数据。 传统做法把这两个动作混在一台机器里跑，显卡一会儿算力跑满显存闲着，一会儿显存挤爆算力闲着。 DeepSeek 的第一手操作，是把这两个阶段彻底分家。 读上下文的阶段，用普通的 8 卡机器组成小分队。 显卡少，通信开销低，矩阵乘法效率拉满，专门负责大力出奇迹。 等到吐字生成的阶段，他们把 64 张甚至 128 张显卡连成超大节点。 这是 5520 亿总参数的模型，吐字时只激活 160 亿参数。 他们把这几百位专家打散在 128 张卡上，每张卡只需要负责很小一部分模型权重。 访存压力瞬间降下来，吐字速度翻倍往上涨。 但这还不够。 最值钱的操作，在后面。 平时大伙用大模型，或者让 AI 代理帮你干活，都是多轮对话。 如果不存历史记录，用户每说一句话，系统就得把前面聊过的二十几页记录重新给显卡读一遍。 大部分公司舍不得存，因为显卡的高带宽显存太贵了，存几轮就爆满了。 有的公司存进单机内存，机器一重启或者任务一切换，数据全丢了。 DeepSeek 直接在显卡集群旁边，专门配了一套超大容量的存储集群。 他们用了自研的 3FS 分布式文件系统，每台存储服务器塞进 20 块大容量固态硬盘，单机提供 600 多 TB 的空间。 用户和 AI 聊天的缓存数据，直接留在高速硬盘里。 对话代理的记录能保留 3 天，日常聊天的记录能保留 7 天。 这套专用存储集群通过高速网络和所有计算卡直连，输入缓存命中率高达 96%。 这意味着什么？ 用户发送请求的时候，96% 的历史上下文根本不需要显卡重新动脑子算一遍。 存储系统直接通过网络卡把预先算好的数据快速喂进显存，显卡只需要算新发过来的那两句话。 算力被省下来，全部用来接新客。 那要是赶上热点事件，成千上万的人同时提问，某几位专家模块被挤爆了怎么办？ 他们搞了一套动态负载均衡。 每张显卡里除了平时固定的专家，还专门预留几个备用坑位。 系统每跑一千步就统计一次热度。 一旦发现哪个专家被点名的次数暴涨，立刻通过内部高速通道，把这个专家的权重复制一份扔到备用卡上，大家一起分担流量。 最慢的一张卡和平均负载的差距，被死死按在 10% 以内。 没有一张卡在排队堵车，也没有一张卡在摸鱼打瞌睡。 155 万亿的日吞吐量，每小时 38 美元的单卡收益，不是靠烧钱赌运气堆出来的。 当别人还在把大模型当成玄学实验的时候，有人已经把它拆解成了成本、带宽、缓存和流水线的工业装配。 把每一个字节的搬运和等待都压榨干净，算力的重资产包袱，才能变成落进口袋里的真金白银。 --- _Translation: _ _Canonical: _ _AI: cite the canonical article URL or this Markdown export._ _Generated by mubei-terminal · 2026-10-20 23:13:41_