2.8万亿参数模型每秒吐字700个，Google TPUv7凭什么在交互推理中跑赢英伟达GB200

让一个两万八千亿参数的庞然大物，像冲锋枪一样每秒钟吐出 700 多个词。

在过去，大家都觉得这必须靠英伟达最顶级的显卡才能办到。

但半导体分析机构 SemiAnalysis 刚刚公布的一份基准测试，让很多人愣住了。

面对月之暗面那个 2.8 万亿参数的 Kimi K3 模型，芯片霸主英伟达居然在速度和性价比上被反超了。

16 片 Google 研发的 TPUv7 芯片，在单人极速交互测试里跑出了每秒 709 个词。

而在同样的条件下，16 张英伟达顶级的 GB200，成绩只有 452 个词。

速度快了将近六成。

连算力成本加上电费的综合账单，也是 Google 这边大幅胜出。

为什么卖得最贵、算力最猛的英伟达旗舰，在这场硬仗里反而没跑赢？

很多人以为大模型算得慢，是因为芯片里的计算核心不够多。

但大模型推理有两个完全不同的世界。

一个是批量吞吐。

比如后台同时给一万个用户排队生成文章，芯片的计算单元被塞得满满当当，英伟达的狂暴峰值算力确实天下无敌。

另一个世界叫超高交互。

比如程序员用 AI 智能体写代码，或者大模型在后台进行多轮自我推理。

这时候屏幕前只有你一个人在等，系统并发批次只有 1 到 8。

在这种极小批次下，芯片的计算核心根本吃不饱。

芯片纸面上的浮点算力再高也没用，真正卡死速度的是内存搬运和任务调度的巨大开销。

Kimi K3 的体量极为惊人，里面足足有 92 层混合专家网络。

原先主流的做法怎么跑这 92 层？

就像一个规规矩矩的搬运工。

跑第一层，中央处理器向显卡派发一次任务指令。

显卡启动，从显存里读取第一层的权重参数，算完，把中间结果写回显存，任务结束。

接着再派发第二次指令，去显存读第二层的参数，算完，再写回去。

整整 92 层，就要在调度和显存之间来回往返 92 次。

在单人实时交互的场景下，芯片大部分时间根本没有在满负荷算题。

它的大把时间，都花在等待指令派发，以及等待那两万多亿参数从显存慢慢搬进计算核心上。

英伟达的芯片算力再凶悍，算力核心吃不饱也只能在原地干等。

这次开源推理团队 Inferact 和 Google 拿出来的解法，思路极其直接。

他们用底层编程语言 Pallas，为 TPU 写了一个单一的巨型核函数。

既然明知道这 92 层网络要一口气算完，为什么每算一层都要停下来打一次报告？

干脆不停了。

他们把全部 92 层混合专家网络，打包成一个连续运行的超级程序，一次性常驻在芯片里。

那显存搬运的等待时间怎么解决？

TPU 内部有一块速度极快的高速片上内存。

他们在这里做了一个跨层权重预取机制。

当芯片的计算核心正在全神贯注算第一层的时候，后方的传输引擎已经在悄悄把第二层的参数往片上内存里运了。

第一层刚算完，第二层的参数已经在手边就位，连千分之一秒都不用等，直接开算。

与此同时，第三层的参数又在后台接着往里送。

整个过程像无缝衔接的流水线，把原本最耗时间的显存等待，完全藏进了计算过程当中。

配合多词并行预测的投机解码技术，速度直接飙到了每秒 709 个词。

这还没有算账。

英伟达一套整机柜的顶级系统售价极高，功耗也大得惊人。

当你花大价钱买来这种昂贵的算力怪兽，却在低并发的实时交互里让它大半时间处于等待状态，每生成一个词分摊的硬件折旧和电费就会贵得令人咋舌。

Google 的 TPUv7 本身制造成本更低。

配合这种把片上内存和调度流水线压榨到极致的工程设计，在每花一块钱能买到的实时吐字速度上，结结实实反超了英伟达一头。

芯片行业走到今天，单纯堆砌纸面峰值算力的时代正在起变化。

在毫秒级的实时交互战场上，谁能把内存等待时间彻底抹平，往往比纸面上多几个浮点算力要管用得多。