{"id":"mb-20261021-18fccd","kind":"deep","title":"DeepSeek开源DeepInfer：大模型推理超高毛利背后的三处工程底牌","summary":"大模型服务最沉重的负担不是训练，而是持续爆发的推理成本。DeepSeek 正式开源自研推理框架 DeepInfer，展现了其在混合专家负载均衡、长文本显存压缩和推测解码上的底层工程调度，同时揭示了同时原生适配英伟达与国产算力芯片的实战打法。","body":"开大模型公司，最怕的其实不是把模型训出来。\n最怕的是模型真火了，每天被几千万人调用。\n用户每聊一句，后台电表就狂转一圈。\n不少大厂的接口服务，算下来根本就是在贴钱硬撑。\n但有一家公司偏偏反着来。\n调用价格便宜到像白送，内部测算下来的毛利率居然能超过 80%。\n他们到底是怎么把成本压到这种地步的？\n这次他们把底牌亮出来了。\n科技媒体 The Information 报道，DeepSeek 正式开源了自己的模型推理框架，名字叫 DeepInfer。\n代码一公开，很多人跑去翻它的底子。\n这套系统原本基于开源的 vLLM 改造，还吸收了 SGLang 和英伟达 TensorRT-LLM 的设计。\n但真正值钱的，是他们把跑大模型最费钱的三个死穴，全部用自研零件手工焊死了。\n第一个死穴，是显卡忙闲不均。\n他们用的是混合专家架构 MoE。\n几十个专家模块里，每次回答问题只挑两三个出来算。\n听上去很省算力，对吧？\n可现实里很容易出现一种情况：某两个专家特别抢手，对应的显卡直接被挤爆，剩下的显卡在旁边干坐着。\n算力浪费极其严重。\nDeepInfer 怎么解决呢？\n它塞进了一个叫 EPLB 的负载均衡器。\n几十微秒内，系统动态计算每个专家的负担，把数据均匀切碎分流。\n谁也别想闲着，谁也别被撑死。\n第二个死穴，是显存被记忆塞爆。\n大模型回答长问题，每往后蹦一个字，都得把前文的记忆全翻出来算一遍。\n这叫键值缓存。\n上下文稍微长一点，昂贵的高带宽显存就被占得精光，显卡之间互传数据，把通信总线堵得水泄不通。\n计算核心只能停工等数据。\nDeepSeek 直接拿出了自己的多头潜变量注意力算子 FlashMLA，把记忆数据在显存里大幅压缩。\n再配合注意力数据并行，长文本直接拆给多条通路去跑，不用卡与卡之间拼命对账。\n显存压力骤降，单台机器能接的并发量瞬间翻倍。\n第三个死穴，是机器打字太慢。\n模型生成内容是一个字接一个字往下吐，算力大部分时间在等待中磨损。\nDeepInfer 搞了一个叫 DSpark 的推测解码机制。\n它让辅助模块像速记员一样，提前往前猜好几个字。\n主模型再用置信度打分，一眼扫过去，猜对的顺手全收下，一次性批量过审。\n原本串行的漫长等待，直接被压成了一步。\n而且翻开代码的构建脚本，第一行配置就清清楚楚支持两套硬件体系：\n一套是英伟达最新的 SM100 架构显卡，另一套是华为的昇腾 950 处理器。\n直接做了原生支持。\n那是不是只要下了这套代码，明天就能照猫画虎搭一个 DeepSeek 出去卖？\n先别急，他们特意留了一手。\n这次开源的只是核心离线推理引擎。\n真正要在公网上扛住几亿人瞬时冲击的分布式缓存调度、动态冷热分离系统，依然留在他们自己的服务器里。\n但这张开源的工程图纸已经足够说明一件事：\n降低大模型的使用成本，不靠干等芯片降价。\n从通信、显存到算子，每一处漏水的地方他们都亲手拧上了螺丝。","topic":"DeepSeek开源DeepInfer：大模型推理超高毛利背后的三处工程底牌","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-21 08:21:22","legal_anchor_count":0,"transcript_citation_count":0,"seo_title":"DeepSeek开源DeepInfer：大模型推理超高毛利背后的三处工程底牌","description":"大模型服务最沉重的负担不是训练，而是持续爆发的推理成本。DeepSeek 正式开源自研推理框架 DeepInfer，展现了其在混合专家负载均衡、长文本显存压缩和推测解码上的底层工程调度，同时揭示了同时原生适配英伟达与国产算力芯片的实战打法。","domain":"ai","domain_label":"AI 与大模型","domain_label_en":"AI & LLMs","domain_url":"https://mubeitech.com/deep?domain=ai","canonical_url":"https://mubeitech.com/deep/mb-20261021-18fccd","markdown_url":"https://mubeitech.com/deep/mb-20261021-18fccd/markdown","json_url":"https://mubeitech.com/api/interpretations/mb-20261021-18fccd","published_at":"2026-10-21T08:21:22Z"}