--- id: "mb-20261019-57a238" kind: "deep" title: "2.8万亿参数模型每秒吐字700个，Google TPUv7凭什么在交互推理中跑赢英伟达GB200" description: "面对月之暗面 2.8 万亿参数的 Kimi K3 模型，在低并发、极速响应的超高交互推理场景下，16 片 Google TPUv7 凭借单一巨型核函数与跨层权重预取技术，跑出了每秒 709 词的成绩，在生成速度与总体拥有成本上反超英伟达顶级芯片 GB200。" domain: "chips" domain_label: "芯片与硬件" canonical_url: "https://mubeitech.com/deep/mb-20261019-57a238" markdown_url: "https://mubeitech.com/deep/mb-20261019-57a238/markdown" json_url: "https://mubeitech.com/api/interpretations/mb-20261019-57a238" topic: "2.8万亿参数模型每秒吐字700个，Google TPUv7凭什么在交互推理中跑赢英伟达GB200" source_type: "generated" status: "published" generated_at: "2026-10-19 07:30:03" frame_type: ["机制"] legal_anchor_count: 0 transcript_citation_count: 0 --- # 2.8万亿参数模型每秒吐字700个，Google TPUv7凭什么在交互推理中跑赢英伟达GB200 让一个两万八千亿参数的庞然大物，像冲锋枪一样每秒钟吐出 700 多个词。 在过去，大家都觉得这必须靠英伟达最顶级的显卡才能办到。 但半导体分析机构 SemiAnalysis 刚刚公布的一份基准测试，让很多人愣住了。 面对月之暗面那个 2.8 万亿参数的 Kimi K3 模型，芯片霸主英伟达居然在速度和性价比上被反超了。 16 片 Google 研发的 TPUv7 芯片，在单人极速交互测试里跑出了每秒 709 个词。 而在同样的条件下，16 张英伟达顶级的 GB200，成绩只有 452 个词。 速度快了将近六成。 连算力成本加上电费的综合账单，也是 Google 这边大幅胜出。 为什么卖得最贵、算力最猛的英伟达旗舰，在这场硬仗里反而没跑赢？ 很多人以为大模型算得慢，是因为芯片里的计算核心不够多。 但大模型推理有两个完全不同的世界。 一个是批量吞吐。 比如后台同时给一万个用户排队生成文章，芯片的计算单元被塞得满满当当，英伟达的狂暴峰值算力确实天下无敌。 另一个世界叫超高交互。 比如程序员用 AI 智能体写代码，或者大模型在后台进行多轮自我推理。 这时候屏幕前只有你一个人在等，系统并发批次只有 1 到 8。 在这种极小批次下，芯片的计算核心根本吃不饱。 芯片纸面上的浮点算力再高也没用，真正卡死速度的是内存搬运和任务调度的巨大开销。 Kimi K3 的体量极为惊人，里面足足有 92 层混合专家网络。 原先主流的做法怎么跑这 92 层？ 就像一个规规矩矩的搬运工。 跑第一层，中央处理器向显卡派发一次任务指令。 显卡启动，从显存里读取第一层的权重参数，算完，把中间结果写回显存，任务结束。 接着再派发第二次指令，去显存读第二层的参数，算完，再写回去。 整整 92 层，就要在调度和显存之间来回往返 92 次。 在单人实时交互的场景下，芯片大部分时间根本没有在满负荷算题。 它的大把时间，都花在等待指令派发，以及等待那两万多亿参数从显存慢慢搬进计算核心上。 英伟达的芯片算力再凶悍，算力核心吃不饱也只能在原地干等。 这次开源推理团队 Inferact 和 Google 拿出来的解法，思路极其直接。 他们用底层编程语言 Pallas，为 TPU 写了一个单一的巨型核函数。 既然明知道这 92 层网络要一口气算完，为什么每算一层都要停下来打一次报告？ 干脆不停了。 他们把全部 92 层混合专家网络，打包成一个连续运行的超级程序，一次性常驻在芯片里。 那显存搬运的等待时间怎么解决？ TPU 内部有一块速度极快的高速片上内存。 他们在这里做了一个跨层权重预取机制。 当芯片的计算核心正在全神贯注算第一层的时候，后方的传输引擎已经在悄悄把第二层的参数往片上内存里运了。 第一层刚算完，第二层的参数已经在手边就位，连千分之一秒都不用等，直接开算。 与此同时，第三层的参数又在后台接着往里送。 整个过程像无缝衔接的流水线，把原本最耗时间的显存等待，完全藏进了计算过程当中。 配合多词并行预测的投机解码技术，速度直接飙到了每秒 709 个词。 这还没有算账。 英伟达一套整机柜的顶级系统售价极高，功耗也大得惊人。 当你花大价钱买来这种昂贵的算力怪兽，却在低并发的实时交互里让它大半时间处于等待状态，每生成一个词分摊的硬件折旧和电费就会贵得令人咋舌。 Google 的 TPUv7 本身制造成本更低。 配合这种把片上内存和调度流水线压榨到极致的工程设计，在每花一块钱能买到的实时吐字速度上，结结实实反超了英伟达一头。 芯片行业走到今天，单纯堆砌纸面峰值算力的时代正在起变化。 在毫秒级的实时交互战场上，谁能把内存等待时间彻底抹平，往往比纸面上多几个浮点算力要管用得多。 _Canonical: · Source: 墓碑科技 MUBEITECH (mubeitech.com)_ _Rendered by mubei-terminal._