索尼PS5越狱跑270亿AI模型提速1200倍：大模型推理底层的内存墙真相

同样一台 3000 块钱的索尼 PS5，跑同一个 270 亿参数的 AI 大模型。 用自带的 CPU 跑，一分钟只能蹦出一个词。 切到 GPU 显卡跑，一秒钟能吐出 20 个词。 从一分钟一个词，到一秒钟 20 个词，速度飙升了整整 1200 倍。 机箱是同一个机箱，模型是同一个模型，连电源插头都没拔过。 为什么换到显卡上跑，差距会大到这种离谱的地步？

事情起于一个叫 Mert Cobanov 的开发者。 他做了一个开源项目叫 PS5LM。 简单来说，就是把开源社区著名的本地 AI 推理工具 llama.cpp，移植到了被越狱的 PS5 上。 你在电视机前拿起 PS5 手柄，点开屏幕上的模型商店，直接就能下载大模型。 不仅能在电视上打字聊天，它还自带一个标准的 API 接口。 只要连上家里的局域网，你手机、笔记本、平板上的任何软件，都能把这台游戏机当成私有的 ChatGPT 来调用。 这次被拿来测试的，是通义千问 270 亿参数的大模型 Qwen 3.8 27B。

很多人看到这里，第一个反应是： 这怎么可能塞得进 PS5？ 要知道，270 亿参数的大模型，如果用标准的 16 位浮点精度来跑，光是装下模型权重就需要整整 54GB 显存。 别说游戏机了，绝大多数家用台式电脑插两张高端显卡都装不下。 而一台普通的 PS5，全身加起来总共也就 16GB 内存。 54GB 的模型塞进 16GB 的机器，物理空间根本不够用。

解决办法全靠开源社区的极致量化压缩。 开发者用了 llama.cpp 的极端低比特量化算法。 硬生生把原本需要 16 位的参数精度，压缩到了平均每个参数只要 2 位左右。 经过这一轮脱水瘦身，原本 54GB 的庞然大物，体积直接缩小到了 7GB 左右。 16GB 的游戏机，装一个 7GB 的模型。 不仅轻轻松松装下了，还能富余出一大半内存留给系统运作和上下文缓存。

模型是装进去了，但真正的谜题才刚刚开始。 为什么在 CPU 上跑，一分钟只能憋出一个词？ 切到 GPU 上，一秒钟却能喷出 20 个词？ 很多人直觉上会觉得：那肯定是因为显卡算力强，显卡算数学题比 CPU 厉害。 这个解释只对了一小部分。 真正卡死 CPU 的瓶颈根本不是算力。 真正的死穴，在物理层面的内存带宽。 也就是计算机架构里著名的“内存墙”。

大语言模型吐字的工作机制，和我们平时的电脑软件完全不同。 它在底层是自回归生成的。 大模型每次只算一个词。 算完当前的词，把它作为新的输入，再去算下一个词。 这里隐藏着一条极其严苛的硬件定律： 模型每生成一个词，计算核心就必须把这整整 7GB 的模型参数，从内存里完完整整读取一遍。 你想生成一个词，内存就要搬运 7GB 数据。 你想一秒钟生成 20 个词？ 你的内存通道就必须在一秒钟之内，像高压水枪一样灌出 140GB 的数据。 如果内存通道细得像一根吸管，哪怕计算核心每秒能算一万亿次，它也只能在原地干瞪眼，排队等数据送过来。

最开始，开发者是用浏览器漏洞把程序挂在 CPU 上跑。 走的是受限制的普通内存通道，甚至还要从固态硬盘里一段段倒腾数据。 读取一遍 7GB 的模型参数，CPU 抓耳挠腮要折腾整整一分钟。 所以屏幕前的人，只能眼巴巴看着它一分钟挤出一个词。

那切到 GPU 之后，到底发生了什么？ 这就得看索尼当年设计 PS5 时的底层硬件底子了。 PS5 是一台为了运行 4K 游戏而生的主机。 现代 3A 游戏为了画质逼真，每一帧都要向显卡吞吐海量的高清材质贴图。 所以索尼在主板上，没有用普通家用电脑那种便宜的双通道 DDR4 或 DDR5 内存。 索尼直接给它焊上了 16GB 的高速 GDDR6 显存颗粒。 更绝的是，PS5 采用的是全共享的统一内存架构。 这块内存池的物理带宽，高达每秒 448GB。

当后续的开源开发者通过 Vulkan 图形接口，把推理程序直接接上 PS5 的图形处理器核心时，那根原本堵死的吸管瞬间变成了消防水龙头。 GPU 拥有 36 个计算单元。 而它背后的 GDDR6 显存，每秒能冲出 448GB 的数据流。 这时候读取一遍 7GB 的模型需要多久？ 7GB 除以 448GB/s，在物理传输上只需要大约 0.016 秒。 数据堵塞被彻底冲开。 显卡的核心不需要干等，吞吐带宽直接跑满，速度自然一路狂飙到了每秒 20 个词。

这台 1200 倍差距的对比实验，顺带解释了为什么当下整个 AI 行业的硬件都在疯狂追求超高带宽内存。 大模型跑得快不快，底层的命脉主要看内存带宽能喂得多快。 英伟达的高端计算卡之所以能卖几万美金一张，核心竞争力就在于它堆满了顶级的超高带宽内存。 苹果的电脑之所以能拿来本地跑大模型，也是因为苹果在自研芯片里塞进了高速统一内存。 但你想在电脑上买齐一块 16GB 显存的高性能显卡，单买显卡就要几千块。 买一台大内存的苹果电脑，动辄两三万。 而在全球无数普通人的客厅电视柜里，正好躺着几千万台 3000 块钱的索尼 PS5。 它们拥有 10.3 万亿次浮点运算能力的图形芯片，还天生自带 448GB/s 的高速统一内存。 原本大家以为它只能用来打游戏。 开源黑客敲了几千行代码，直接把这个塑料盒子里沉睡的硬件性能全部唤醒了。