{"id":"mb-20260829-a060ca","kind":"deep","title":"大模型每生成一个词，价值几万美元的 GPU 核心有大半时间都在原地干等","summary":"大模型每生成一个词，价值几万美元的 GPU 核心有大半时间都在原地干等","body":"大模型每生成一个词，价值几万美元的 GPU 核心有大半时间都在原地干等。\n算力明明已经过剩到了顶点。\n为什么服务器依然卡在吞吐的泥潭里？\n为什么连 NVIDIA 都在短短三个月里，把锁定供应链的采购承诺从 1190 亿美元暴拉到 2790 亿？\n很多人看 AI 芯片，第一反应还是数晶体管数量、比浮点算力跑分。\n但在大模型推理的真实战场上，算力根本不是瓶颈。\n真正的瓶颈在搬运。\n大语言模型生成文本，是一个逐字蹦出、不断循环的自回归过程。\n每蹦出一个新词，芯片都必须把上百吉字节的模型参数，从外部内存完整读一遍。\n在这个过程里，数据搬运的量大得惊人，真正的数学计算却少得可怜。\n算术强度低到了地底。\n结果就是：计算核心跑得飞快，却因为通道太窄，只能眼巴巴等数据从内存里慢吞吞爬过来。\n这是一道统治了计算机工业半个世纪的物理枷锁。\n1977 年，图灵奖得主约翰·巴克斯在获奖演讲里，第一次给它起了名字：冯·诺依曼瓶颈。\n算力单元与存储单元被物理隔开，中间那根狭窄的连接线，成了整个系统永远通不开的堵点。\n到了 1995 年，计算机学者沃尔夫与麦基进一步敲响警钟，称之为内存墙。\n过去三十年，芯片算力翻了成千上万倍。\n可内存读写速度的提升，连算力增长的零头都没赶上。\n把数据从外部内存搬运到计算核心所消耗的能量，甚至比直接完成一次运算高出上百倍。\n这种物理极限，正在把整个半导体产业的设计逻辑彻底颠覆。\n过去半个世纪，所有芯片设计的铁律都是计算优先。\n工程师先定好 CPU 或 GPU 要多强，画好运算单元，最后在边缘留几个接口，把内存当成挂件顺手接上。\n内存只是给计算核心打杂的仓库。\n现在，这套次序彻底倒了过来。\n三星电子在技术峰会上，把这个范式转移明确定义为内存中心计算。\n芯片设计不再先挑 GPU，必须先计算大模型需要多大的内存带宽，再反向决定需要配多少算力、用什么样的三维封装。\n谁掌握了最宽的带宽通道，谁就定义了整颗芯片的性能上限。\n存储巨头卖的不再只是存储容量，真正定价的是单位时间能把数据泵出多快的高带宽。\n甚至为了彻底消灭数据在电路板上的物理传输距离，新一代架构干脆把高带宽内存直接三维垂直堆叠在 AI 加速器正上方。\n当数据搬运的物理极限撞到了墙，原本打杂的配角，就变成了整场游戏的主角。\n真正的产业权力转移，从来不发生在聚光灯照着的前台算力跑分里。\n它发生在底层物理定律卡死通道的那一瞬间。\n谁卡在最窄的那个物理瓶颈上，谁就握住了下一代计算范式的总阀门。","topic":"大模型每生成一个词，价值几万美元的 GPU 核心有大半时间都在原地干等","frame_type":["冯·诺依曼瓶颈与内存中心计算","机制"],"citations":[],"channel_note":"","identity_notice":"本框架为第三方 AI 对公开观点的解读，非郭文贵本人发声。","source_type":"generated","status":"published","generated_at":"2026-08-29 05:39:08","legal_anchor_count":0,"transcript_citation_count":0}