{"id":"mb-20260828-5faee8","account":"mubei","brand":"","title":"一个刷爆海外开发者圈子的匿名模型，所有流量全跑在被技术限制的国产芯片上","summary":"一个刷爆海外开发者圈子的匿名模型，所有流量全跑在被技术限制的国产芯片上","body":"一个刷爆海外开发者圈子的匿名模型，所有流量全跑在被技术限制的国产芯片上。\n开测那几天，有人猜它是微软的新架构，有人猜它是硅谷哪家顶尖实验室在放风。\n没人想到这台代号 Ox Alpha 的机器，底层连一张顶规的海外显卡都没用。\n谜底揭开，它是智谱的 GLM-5.3-Flash。\n许多人立刻去算它的商业账：香港上市股价涨了九倍，去年研发砸了 32 亿，亏损 47 亿。\n但金融数字只是表象。\n真正致命的问题只有一个：\n在显存容量和传输带宽双重受限的硬件上，怎么抗住上万亿次的高并发调用？\n很多人以为大模型推理拼的是纯算力。\n算力其实早就不是唯一的瓶颈。\n真正的死穴在显存带宽，计算机科学界早在 1995 年就给它起好了名字：内存墙。\nWulf 和 McKee 在那篇经典论文里指出的困境，在大模型时代被放大了上万倍。\n传统大模型每吐出一个字，就必须把几千亿个参数和之前所有的对话记录，从显存完完整整搬进计算核心一遍。\n计算核心只花了极少时间运算，剩下大半时间全在干等数据从显存搬过来。\n上下文拉得越长，要搬运的键值缓存就越臃肿。\n这笔搬运税，在顶规显卡上可以用极高规格的高带宽内存硬抗。\n可一旦芯片的带宽和互联被卡死，硬扛的代价就是延迟爆炸和成本失控。\n既然硬件层面的路被堵上了，这台机器是怎么绕过去的？\n答案不是去硬拼更快的芯片。\n是把注意力机制的数学逻辑重写了一遍。\n它用了 3200 亿的总参数，但每一次只激活其中的 180 亿。\n更关键的一步在架构层：用线性注意力和稀疏注意力交替堆叠。\n它把原本需要随对话长度无限膨胀的键值缓存，压缩成了固定体积的状态。\n搬运税直接被砍掉了大半。\n硬件不够快，就让软件要搬的数据变少。\n显存通道窄，就让流过去的信息变轻。\n技术的演进往往就是这样。\n当充足的算力唾手可得时，所有人都会选择用最粗暴的方式堆参数、堆显卡。\n只有当物理边界被彻底焊死的时候，真正的架构重构才会被逼出来。\n究竟是算力过剩催生出更聪明的算法，还是算力匮乏逼出了更锋利的刀刃？","category":"科技","score":null,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-08-28 16:48:38","created_at":"2026-08-28 16:48:38"}