深度解读AI 与大模型generatedpublished

同样的显卡产出差50%:SemiAnalysis拆解算力运维的隐形差距

机制

买两块一模一样的顶级显卡,每小时付一样的租金,你拿到的有效工作能差出 50%。

这不是芯片体质问题,也不是哪家机房偷工减料。 芯片都是英伟达最新的 Blackwell B200,跑同一个大模型,甚至连对响应速度的要求都定在同一档。 可实际测下来,一个每秒能吐出 200 个词元,另一个能吐出 300 个。

差出来的这一半产出,到底从哪来的?

半导体研究机构 SemiAnalysis 的分析师 Oliver Kennon,拿他们自己的公开评测平台 InferenceX 算了一笔账。 大家平时看 AI 算力,习惯盯一个指标:租一块卡一小时多少钱。 很多投资人和企业也拿这个数字去比各家云厂商的报价。 但卡的时长只是投入的原料工时,模型吐出来的合格词元才是最终交付的产出。 显卡插进机架只是买到了潜力,能从里面榨出多少工作,全看上面的运营商怎么调度。

显卡在机房里跑模型,并不是把请求直接扔给芯片那么简单。 中间隔着一整套推理服务软件栈。 请求怎么排队批处理、显存怎么分块、长文本的 KV 缓存怎么复用、网络传输怎么防拥堵,全是运维的选择。 Kennon 设定的测试场景很标准:输入 8000 个词元,输出 1000 个词元,每个用户要求的响应速度定在每秒 100 词。 在高并发的高峰压力下,软件栈调得好的运营商,能把并发请求塞得密不透风,芯片几乎没有闲置等待; 调得差的软件栈,显存碎片堆积,显卡在不同请求之间频繁打架换道,吞吐量硬生生被拖慢了三分之一。

如果两家机房每小时收你一样的租金,产出多 50% 的那家,等于帮你把每个合格词元的实际成本压低了整整三分之一。 买同样的机器工时,你买到的是 1.5 倍的干货。

但这还只是速度上的差距。 如果只看跑分吐字有多快,很容易掉进另一个坑。 所谓有用的智能,除了速度达标,还得随时可用,而且数据不能漏。 SemiAnalysis 在做集群安全审计时,抓到过一个真实例子: 有一家机房的显卡速度飞快,性能拉满,但监控系统的访问权限没配好,直接把另一家客户的运行日志和关键数据给暴露了出来。 显卡跑得再快,在企业真实的生产环境里,这也是彻底的灾难事故。 系统更新怎么做灰度测试、集群出故障怎么无缝回滚、多租户隔离怎么做,这些都不是英伟达芯片自己能解决的,全靠运营商的日常运维。

Kennon 用大宗商品的框架来看算力市场。 在任何大宗商品市场里,决定谁能活下来的,都是相对成本曲线。 现在的 AI 算力处于极度紧缺的窗口期,需求远远大过供给,大家手里都有两三年的订单缓冲。 哪怕一家机房运营水平再糙、成本再高,也能靠缺卡赚得盆满钵满。 很多机房的管理者甚至觉得:花时间去扣软件栈、调缓存优化太费劲,不如直接去圈地盖更大的数据中心。

但人类历史上任何一种大宗商品,从原油到钢铁,都逃不过供需周期的翻转。 一旦两三年后供给补齐、价格战开打,高成本的运营商就会被无情挤出市场。 而且成本优势是相对的:你自己把单位成本从 10 降到 8,如果对手从 6 降到了 3,你反而变成了更贵的那一个。

很多人现在热衷于聊算力期货,想靠金融衍生品来对冲显卡租金的涨跌。 但期货能够成立的前提,是底层资产必须高度标准化。 原油期货能交易,是因为原油被严格划分成了不同的标号,含硫量多少、密度多大,清清楚楚。 可在算力市场上,光说一张 B200 跑一小时,根本算不上标准资产。 一个会漏数据的机房和一个秒吐 300 词元的顶级机房,卖的根本不是同一种东西。 这也是为什么 SemiAnalysis 要做 ClusterMAX 集群评级,专门去测机房的配置、可靠性、监控和安全。 没有对运营商能力的硬核评级,算力就成不了标准的大宗商品,所谓的算力期货也只是空中楼阁。

显卡买来只是硅片,买来的是可能性。 把可能变成现实、决定算力最后有多贵或者有多便宜的,始终是坐在控制台前面的那个操盘手。

同领域解读 / AI & LLMS

查看全部「AI 与大模型」解读 →

规范引用 / CANONICAL CITATION

同样的显卡产出差50%:SemiAnalysis拆解算力运维的隐形差距 — 墓碑科技 MUBEITECH(https://mubeitech.com/deep/mb-20261021-ca4366)

导出 / EXPORT

订阅 · SUBSCRIBE

每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。

不追踪邮件打开与邮件链接点击,一键退订。 或用 RSS · 详情