---
id: "mb-20260829-a060ca"
kind: "deep"
title: "大模型每生成一个词，价值几万美元的 GPU 核心有大半时间都在原地干等"
topic: "大模型每生成一个词，价值几万美元的 GPU 核心有大半时间都在原地干等"
source_type: "generated"
status: "published"
generated_at: "2026-08-29 05:39:08"
frame_type: ["冯·诺依曼瓶颈与内存中心计算", "机制"]
legal_anchor_count: 0
transcript_citation_count: 0
---

# 大模型每生成一个词，价值几万美元的 GPU 核心有大半时间都在原地干等

> 本框架为第三方 AI 对公开观点的解读，非郭文贵本人发声。

大模型每生成一个词，价值几万美元的 GPU 核心有大半时间都在原地干等。
算力明明已经过剩到了顶点。
为什么服务器依然卡在吞吐的泥潭里？
为什么连 NVIDIA 都在短短三个月里，把锁定供应链的采购承诺从 1190 亿美元暴拉到 2790 亿？
很多人看 AI 芯片，第一反应还是数晶体管数量、比浮点算力跑分。
但在大模型推理的真实战场上，算力根本不是瓶颈。
真正的瓶颈在搬运。
大语言模型生成文本，是一个逐字蹦出、不断循环的自回归过程。
每蹦出一个新词，芯片都必须把上百吉字节的模型参数，从外部内存完整读一遍。
在这个过程里，数据搬运的量大得惊人，真正的数学计算却少得可怜。
算术强度低到了地底。
结果就是：计算核心跑得飞快，却因为通道太窄，只能眼巴巴等数据从内存里慢吞吞爬过来。
这是一道统治了计算机工业半个世纪的物理枷锁。
1977 年，图灵奖得主约翰·巴克斯在获奖演讲里，第一次给它起了名字：冯·诺依曼瓶颈。
算力单元与存储单元被物理隔开，中间那根狭窄的连接线，成了整个系统永远通不开的堵点。
到了 1995 年，计算机学者沃尔夫与麦基进一步敲响警钟，称之为内存墙。
过去三十年，芯片算力翻了成千上万倍。
可内存读写速度的提升，连算力增长的零头都没赶上。
把数据从外部内存搬运到计算核心所消耗的能量，甚至比直接完成一次运算高出上百倍。
这种物理极限，正在把整个半导体产业的设计逻辑彻底颠覆。
过去半个世纪，所有芯片设计的铁律都是计算优先。
工程师先定好 CPU 或 GPU 要多强，画好运算单元，最后在边缘留几个接口，把内存当成挂件顺手接上。
内存只是给计算核心打杂的仓库。
现在，这套次序彻底倒了过来。
三星电子在技术峰会上，把这个范式转移明确定义为内存中心计算。
芯片设计不再先挑 GPU，必须先计算大模型需要多大的内存带宽，再反向决定需要配多少算力、用什么样的三维封装。
谁掌握了最宽的带宽通道，谁就定义了整颗芯片的性能上限。
存储巨头卖的不再只是存储容量，真正定价的是单位时间能把数据泵出多快的高带宽。
甚至为了彻底消灭数据在电路板上的物理传输距离，新一代架构干脆把高带宽内存直接三维垂直堆叠在 AI 加速器正上方。
当数据搬运的物理极限撞到了墙，原本打杂的配角，就变成了整场游戏的主角。
真正的产业权力转移，从来不发生在聚光灯照着的前台算力跑分里。
它发生在底层物理定律卡死通道的那一瞬间。
谁卡在最窄的那个物理瓶颈上，谁就握住了下一代计算范式的总阀门。

_Rendered by mubei-terminal._