科技·via @mubei·80.0·P93

把过时 GPU 的寿命从 3 年直接拉长到 15 年。 华尔街的私人信贷经理们,这几天可能要集体开香槟了。 现在市面上那…

把过时 GPU 的寿命从 3 年直接拉长到 15 年。 华尔街的私人信贷经理们,这几天可能要集体开香槟了。

现在市面上那些疯狂囤货的 AI 算力云,背后的巨额资金很多来自华尔街的私人信贷。 之前金融机构做资产评估,默认一块 GPU 的有效寿命顶多只有三四年。 加上技术迭代太快,高昂的折旧率让 GPU 的融资利率一直居高不下,普遍在 7% 以上。 这就成了悬在 AI 建设潮头上的一把财务利剑。

但现在,一个叫“推理解耦”(Disaggregation of Inference)的技术突破,正在重写游戏规则。 简单来说,大模型的推理过程分两步:预填充(Prefill)和解码(Decode)。 硅谷投资人 Gavin Baker 举了个很有意思的例子: 这就好比 18 世纪英国军舰上的大炮,预填充是“装填炮弹”,让模型理解提示词;解码则是“开炮”,一个 token 一个 token 地往外吐答案。

“装弹”消耗的是内存容量,而“开炮”消耗的是内存带宽。 以前,我们逼着同一块 GPU 既装弹又开炮,效率极低,老卡很快就跟不上时代。 现在的做法是把两件事拆开,把最先进、极速的 Groq LPU 或 Cerebras 摆在最前面专门“开炮”。 至于那些被淘汰的 Hopper 甚至更老的 Ampere 显卡,直接退居二线,专门在后面干“装弹”的体力活。

这个套路等于把旧 GPU 焊死在流水线上,一直用到融化为止。 原本只有 3 年寿命的显卡,有效使用期限直接飙升到 10 到 15 年。 资产寿命翻了三四倍,华尔街的坏账风险瞬间解除。 GPU 的融资利率甚至能从 7% 一路压到 5% 左右,这会直接改变全球 AI 算力建设的资金成本。

导出 / EXPORT