固定 72 MiB 显存跑 256K 上下文：EdgeRock-4B 如何用记忆锚点破解长文本死结

大模型读完一本二十多万字的书，最先见底的往往不是算力。 是显卡显存。

只要上下文一拉长，模型看过的每一个字，都要在显卡里存下一份状态记录。 也就是常说的键值缓存（KV 缓存）。 文本越长，这个记录就滚得越大。 读到二十五万个词元，也就是 256K 上下文的时候，单单给一个用户存这份历史记忆，就能吃掉十几 GB 甚至几十 GB 显存。 一张 80GB 的顶级 Hopper 显卡，同时跑四五个用户的长文本请求，显存就直接报警告罄了。 芯片的算力还在旁边闲着，显存先被撑爆了。

那能不能给它设个规矩，把记忆死死卡在一个固定大小？ 大家当然试过。

最朴素的办法，就是滑动窗口。 只留最近的一千个字，前面的通通忘掉。 要不就是用循环神经网络或状态空间模型，把过去所有的信息压缩成一小截状态向量。 显存确实省下来了，但模型马上就变笨了。

为什么？ 遇到简单的日常闲聊或者单轮总结，这么干还能应付。 但要是让它做多步复杂推理，比如推导一道奥数题或者写长代码，模型往往要写下几十步的思考过程。 写到第四十步的时候，它必须回过头去核对第一步列出来的某个精确约束或变量符号。 滑动窗口直接把第一步给扔了。 循环模型把第一步压缩成了一团模糊的影子，细节早就磨没了。 一核对不上，整条推理链条当场断裂。 这也是为什么过去那些固定状态的架构，在全美数学邀请赛 AIME 上，平均得分只有 18.8%。 想省显存，智商就崩塌。 想要模型聪明，显存就得无限往上膨胀。

这个死结最近被一个叫 EdgeRock-4B 的开源模型解开了。 来自 Rock Matrix 团队刚公开的一篇研究，论文编号是 arXiv 2610.10118。 一个 4B 参数规模的模型，把 256K 上下文的 KV 缓存，死死卡在了 72 MiB。 注意，是从 4K 一直到 256K，它的缓存大小完全不动，永远都是 72 MiB。 比常规模型在长文本下的缓存开销，直接砍掉了 99.1%。

怎么做到的？ 它既没有保留所有废话，也没有把历史粗暴地压成一团糊。 它用了一套叫做岩石记忆锚点（Rock Memory Anchors，简称 RMA）的机制。

它的网络分工很清楚。 二十四层循环层负责推着上下文往前走，保留全局的流式感知。 离当前最近的一千个词元，交给局部注意力窗口去精细阅读，保证每一句话遣词造句的自然连贯。 更关键的一步，在长长的前文划过时，模型在训练中学会了自动识别哪些信息是关键节点。 比如一个核心假设、一个代数公式、一个变量约束。 模型把这些真正决定逻辑走向的片段，提取成记忆锚点，存进一个容量恒定的存储区里。 不管输入拉到多长，这个存储区的格子数量始终固定。 它不需要死记硬背路过的每一个字，它只要把能够串起因果链条的钉子，牢牢钉在墙上。 当模型在十几万字之后需要回看时，它随时可以越过漫长的上下文，精准调取这些锚点。

这个设计到底管不管用？ 看两个硬碰硬的数字。

第一个是推理能力。 在 2024 到 2026 年的 AIME 数学竞赛测试里，这个 4B 小模型的平均单次通过率达到了 82.9%。 之前那些同样做固定内存的基线模型，哪怕模型规模做到 14B，得分也只有 18.8%。 它没有变笨，它把复杂逻辑推理必须依赖的长距离记忆给保住了。

第二个是服务吞吐量。 在单张 80GB 的 Hopper 显卡上，因为每条序列只需要 72 MiB 显存，显卡不再被缓存卡死。 它直接并发跑起了 512 条序列。 整张卡的输出吞吐量达到每秒 12,124 个词元，是同尺寸标准架构 Qwen3.5-4B 的 6.42 倍。 哪怕面对输入 128K 紧接着生成 128K 输出的极端长文本任务，生成速度依然能维持在每秒 233.7 个词元。

做长文本不用非得把显卡买到破产。 过去的大模型为了不忘掉远处的一只蝴蝶，不得不把一路上刮过的所有风声全抄进显存。 放走不重要的噪音，把决定推理走向的锚点锁进固定的格子。 显存停在 72 MiB 不动，二十五万字的记忆却依然清醒。 这大概是大模型工程落地上，最干净漂亮的一种解题办法。