英伟达Vera Rubin长文本实测：为什么最贵的新机架跑智能体反而便宜了七倍？

买一台几百万美元的顶配服务器，怎么算都像是一笔败家的军备竞赛。

但半导体分析机构 SemiAnalysis 最新跑出来的一组硬核基准测试，给出了一个完全反直觉的账本。

在面对一百万字长文本的智能体推理任务时，英伟达下一代的 Vera Rubin NVL72 机架，每花一美元能买到的性能，最高可以达到上一代 Blackwell GB300 的 7.3 倍。

黄仁勋当年那句天天被全网当成段子调侃的名言，买得越多，省得越多，怎么在长文本智能体面前，变成了一句冷冰冰的算力经济学定律？

两代旗舰芯片，如果只是跑常规的短文本对话，或者做基础的矩阵计算，性能差距通常也就两到三倍。

凭什么把任务一换成一百万 token 的智能体复杂调用，性价比的差距突然被拉大到了夸张的 7.3 倍？

到底是什么东西，在长文本面前把上一代的顶级算力给活活拖垮了？

要搞明白这笔账，得先看懂当今大模型推理正在发生的一场剧烈质变。

过去的 AI 聊天，你问一句，模型答一句，输入输出也就几百上千个字。 这时候 GPU 拼的是纯算力，芯片里的张量核心满负荷狂转，算力利用率极高。

但现在的智能体，干活方式完全变了。 它要一口气读完整座代码仓库，要反复调用工具，要看终端报错，再把执行结果塞回上下文继续琢磨。 这种自我迭代的多轮交互，让上下文窗口瞬间膨胀到了几十万甚至一百万 token。

在这个量级下，计算的瓶颈彻底转移了。 GPU 不再缺计算能力，它缺的是把数据搬进算力核心的喉咙带宽。

大模型生成每一个新的字，都必须把前面所有已生成的字产生的键值缓存，也就是通常说的 KV Cache，从显存里完完整整捞出来对齐一遍。

一百万 token 的 KV Cache，体积庞大到令人窒息。 哪怕只跑一个用户的任务，这个记忆账本就能吃掉上百 GB 的显存。 如果十几个、几十个人同时在用，显存里塞的全是等待调取的长文本记忆。

算力核心每计算一微秒，可能要花十微秒的时间在门口干等显存把数据搬运过来。 在芯片设计里，这叫内存墙。 你买的算力核心再多、再强，大部分时间都在饿着肚子发呆。

更致命的是跨芯片通信。

没有哪单颗芯片能独立装下一百万上下文的模型和庞大缓存。 任务必须切成几十片，分散在机架里的 72 颗芯片上协同计算。 这就需要芯片之间用极高速度互相交换数据。

上一代的 GB300 NVL72，配置已经很豪华了，用的是第五代 NVLink 互联和 HBM3e 高带宽显存。 但在一百万 token 的海量缓存吞吐面前，这套组合依然被逼到了物理极限。

单芯片的双向互联带宽只有 1.8 TB/s，HBM3e 的吞吐速度也跟不上长文本暴增的搬运需求。 卡与卡之间的数据传输开始严重堵塞，算力核心空转等待。

为了保证模型吐字的速度不卡顿，GB300 机架只能做出一项极其肉痛的妥协：大幅减少同时接客的数量，降低并发数。 整座机架的造价摆在那里，电费和机房租金每秒钟都在烧。 并发数一旦被砍下来，平摊到每一个 token 上的实际拥有成本，瞬间暴涨。

这也就是为什么很多云厂商抱怨，跑长文本智能体简直是在亏本赚吆喝。

英伟达在 Vera Rubin NVL72 上，就是冲着这个死穴下的狠手。

他们给每一颗 Rubin GPU 配备了新一代的 HBM4 显存，单卡带宽直接飙升到 22 TB/s，整座机架聚合的显存带宽达到了惊人的 1.5 PB/s。 这意味着显存搬运数据的速度，被暴力提升到了原来的数倍。

与此同时，芯片之间的互联升级到了第六代 NVLink，单卡互联带宽翻倍到 3.6 TB/s。 整座机架 72 颗芯片连接在一起，内部总互联带宽冲破了 260 TB/s。

这两记重拳砸下去，整个机柜在物理层面几乎变成了一颗巨大的单体逻辑芯片。

一百万 token 的庞大缓存，在机架内部高速流转，不再卡壳。 算力核心终于被源源不断的数据喂饱了。

反映在实际测试中，Vera Rubin NVL72 可以在极高的并发请求下，依然保持飞快的响应速度。 它单机处理长文本智能体的吞吐量，直接拉开了上一代数倍的距离。

虽然每座机架的硬件采购价格更贵了，但由于单位时间内吐出的有效 token 数量呈爆发式增长，一除以机架的总体拥有成本，每美元的产出效益直接冲到了 GB300 的 7.3 倍。

这就是半导体世界里最残忍的算力经济学。

对大型 AI 基础设施来说，昂贵的硬件往往不是最大的成本，低效等待造成的资源闲置才是最可怕的吞金兽。

用上一代硬件勉强跑一百万长文本，大部分电费和折旧都浪费在等待显存搬运和网络拥堵上。 换上带宽吞吐拉满的新机架，机器更贵，但单次智能体调用的真实成本却直接降到了原来的零头。

长文本智能体要从实验室里的演示原型，变成人人用得起、天天跑得通的工业级生产力，靠的从来不是虚无缥缈的模型玄学。 底层硬件把内存和通信的管道彻底拓宽，才是这台巨大机器能够商业运转的真正地基。