一个刷爆海外开发者圈子的匿名模型,所有流量全跑在被技术限制的国产芯片上
一个刷爆海外开发者圈子的匿名模型,所有流量全跑在被技术限制的国产芯片上。 开测那几天,有人猜它是微软的新架构,有人猜它是硅谷哪家顶尖实验室在放风。 没人想到这台代号 Ox Alpha 的机器,底层连一张顶规的海外显卡都没用。 谜底揭开,它是智谱的 GLM-5.3-Flash。 许多人立刻去算它的商业账:香港上市股价涨了九倍,去年研发砸了 32 亿,亏损 47 亿。 但金融数字只是表象。 真正致命的问题只有一个: 在显存容量和传输带宽双重受限的硬件上,怎么抗住上万亿次的高并发调用? 很多人以为大模型推理拼的是纯算力。 算力其实早就不是唯一的瓶颈。 真正的死穴在显存带宽,计算机科学界早在 1995 年就给它起好了名字:内存墙。 Wulf 和 McKee 在那篇经典论文里指出的困境,在大模型时代被放大了上万倍。 传统大模型每吐出一个字,就必须把几千亿个参数和之前所有的对话记录,从显存完完整整搬进计算核心一遍。 计算核心只花了极少时间运算,剩下大半时间全在干等数据从显存搬过来。 上下文拉得越长,要搬运的键值缓存就越臃肿。 这笔搬运税,在顶规显卡上可以用极高规格的高带宽内存硬抗。 可一旦芯片的带宽和互联被卡死,硬扛的代价就是延迟爆炸和成本失控。 既然硬件层面的路被堵上了,这台机器是怎么绕过去的? 答案不是去硬拼更快的芯片。 是把注意力机制的数学逻辑重写了一遍。 它用了 3200 亿的总参数,但每一次只激活其中的 180 亿。 更关键的一步在架构层:用线性注意力和稀疏注意力交替堆叠。 它把原本需要随对话长度无限膨胀的键值缓存,压缩成了固定体积的状态。 搬运税直接被砍掉了大半。 硬件不够快,就让软件要搬的数据变少。 显存通道窄,就让流过去的信息变轻。 技术的演进往往就是这样。 当充足的算力唾手可得时,所有人都会选择用最粗暴的方式堆参数、堆显卡。 只有当物理边界被彻底焊死的时候,真正的架构重构才会被逼出来。 究竟是算力过剩催生出更聪明的算法,还是算力匮乏逼出了更锋利的刀刃?
相关 / RELATED
JSON导出 / EXPORT
订阅 · SUBSCRIBE
每周一封信号简报,重大进展可选即时推送。