{"id":"mb-20261019-57a238","kind":"deep","title":"2.8万亿参数模型每秒吐字700个，Google TPUv7凭什么在交互推理中跑赢英伟达GB200","summary":"面对月之暗面 2.8 万亿参数的 Kimi K3 模型，在低并发、极速响应的超高交互推理场景下，16 片 Google TPUv7 凭借单一巨型核函数与跨层权重预取技术，跑出了每秒 709 词的成绩，在生成速度与总体拥有成本上反超英伟达顶级芯片 GB200。","body":"让一个两万八千亿参数的庞然大物，像冲锋枪一样每秒钟吐出 700 多个词。\n\n在过去，大家都觉得这必须靠英伟达最顶级的显卡才能办到。\n\n但半导体分析机构 SemiAnalysis 刚刚公布的一份基准测试，让很多人愣住了。\n\n面对月之暗面那个 2.8 万亿参数的 Kimi K3 模型，芯片霸主英伟达居然在速度和性价比上被反超了。\n\n16 片 Google 研发的 TPUv7 芯片，在单人极速交互测试里跑出了每秒 709 个词。\n\n而在同样的条件下，16 张英伟达顶级的 GB200，成绩只有 452 个词。\n\n速度快了将近六成。\n\n连算力成本加上电费的综合账单，也是 Google 这边大幅胜出。\n\n为什么卖得最贵、算力最猛的英伟达旗舰，在这场硬仗里反而没跑赢？\n\n很多人以为大模型算得慢，是因为芯片里的计算核心不够多。\n\n但大模型推理有两个完全不同的世界。\n\n一个是批量吞吐。\n\n比如后台同时给一万个用户排队生成文章，芯片的计算单元被塞得满满当当，英伟达的狂暴峰值算力确实天下无敌。\n\n另一个世界叫超高交互。\n\n比如程序员用 AI 智能体写代码，或者大模型在后台进行多轮自我推理。\n\n这时候屏幕前只有你一个人在等，系统并发批次只有 1 到 8。\n\n在这种极小批次下，芯片的计算核心根本吃不饱。\n\n芯片纸面上的浮点算力再高也没用，真正卡死速度的是内存搬运和任务调度的巨大开销。\n\nKimi K3 的体量极为惊人，里面足足有 92 层混合专家网络。\n\n原先主流的做法怎么跑这 92 层？\n\n就像一个规规矩矩的搬运工。\n\n跑第一层，中央处理器向显卡派发一次任务指令。\n\n显卡启动，从显存里读取第一层的权重参数，算完，把中间结果写回显存，任务结束。\n\n接着再派发第二次指令，去显存读第二层的参数，算完，再写回去。\n\n整整 92 层，就要在调度和显存之间来回往返 92 次。\n\n在单人实时交互的场景下，芯片大部分时间根本没有在满负荷算题。\n\n它的大把时间，都花在等待指令派发，以及等待那两万多亿参数从显存慢慢搬进计算核心上。\n\n英伟达的芯片算力再凶悍，算力核心吃不饱也只能在原地干等。\n\n这次开源推理团队 Inferact 和 Google 拿出来的解法，思路极其直接。\n\n他们用底层编程语言 Pallas，为 TPU 写了一个单一的巨型核函数。\n\n既然明知道这 92 层网络要一口气算完，为什么每算一层都要停下来打一次报告？\n\n干脆不停了。\n\n他们把全部 92 层混合专家网络，打包成一个连续运行的超级程序，一次性常驻在芯片里。\n\n那显存搬运的等待时间怎么解决？\n\nTPU 内部有一块速度极快的高速片上内存。\n\n他们在这里做了一个跨层权重预取机制。\n\n当芯片的计算核心正在全神贯注算第一层的时候，后方的传输引擎已经在悄悄把第二层的参数往片上内存里运了。\n\n第一层刚算完，第二层的参数已经在手边就位，连千分之一秒都不用等，直接开算。\n\n与此同时，第三层的参数又在后台接着往里送。\n\n整个过程像无缝衔接的流水线，把原本最耗时间的显存等待，完全藏进了计算过程当中。\n\n配合多词并行预测的投机解码技术，速度直接飙到了每秒 709 个词。\n\n这还没有算账。\n\n英伟达一套整机柜的顶级系统售价极高，功耗也大得惊人。\n\n当你花大价钱买来这种昂贵的算力怪兽，却在低并发的实时交互里让它大半时间处于等待状态，每生成一个词分摊的硬件折旧和电费就会贵得令人咋舌。\n\nGoogle 的 TPUv7 本身制造成本更低。\n\n配合这种把片上内存和调度流水线压榨到极致的工程设计，在每花一块钱能买到的实时吐字速度上，结结实实反超了英伟达一头。\n\n芯片行业走到今天，单纯堆砌纸面峰值算力的时代正在起变化。\n\n在毫秒级的实时交互战场上，谁能把内存等待时间彻底抹平，往往比纸面上多几个浮点算力要管用得多。","topic":"2.8万亿参数模型每秒吐字700个，Google TPUv7凭什么在交互推理中跑赢英伟达GB200","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-19 07:30:03","legal_anchor_count":0,"transcript_citation_count":0}