{"id":"mb-20261030-08507f","kind":"deep","title":"固定 72 MiB 显存跑 256K 上下文：EdgeRock-4B 如何用记忆锚点破解长文本死结","summary":"大模型处理长文本时显存往往先于算力崩溃。传统固定状态架构虽省显存却在复杂推理中失灵，AIME 数学测试普遍跌至 18.8%。开源模型 EdgeRock-4B 引入岩石记忆锚点（RMA），将 256K 上下文的 KV 缓存锁定在 72 MiB，吞吐量提升至 6.42 倍且 AIME 通过率保持在 82.9%，为长文本推理提供了全新的工程解法。","body":"大模型读完一本二十多万字的书，最先见底的往往不是算力。\n是显卡显存。\n\n只要上下文一拉长，模型看过的每一个字，都要在显卡里存下一份状态记录。\n也就是常说的键值缓存（KV 缓存）。\n文本越长，这个记录就滚得越大。\n读到二十五万个词元，也就是 256K 上下文的时候，单单给一个用户存这份历史记忆，就能吃掉十几 GB 甚至几十 GB 显存。\n一张 80GB 的顶级 Hopper 显卡，同时跑四五个用户的长文本请求，显存就直接报警告罄了。\n芯片的算力还在旁边闲着，显存先被撑爆了。\n\n那能不能给它设个规矩，把记忆死死卡在一个固定大小？\n大家当然试过。\n\n最朴素的办法，就是滑动窗口。\n只留最近的一千个字，前面的通通忘掉。\n要不就是用循环神经网络或状态空间模型，把过去所有的信息压缩成一小截状态向量。\n显存确实省下来了，但模型马上就变笨了。\n\n为什么？\n遇到简单的日常闲聊或者单轮总结，这么干还能应付。\n但要是让它做多步复杂推理，比如推导一道奥数题或者写长代码，模型往往要写下几十步的思考过程。\n写到第四十步的时候，它必须回过头去核对第一步列出来的某个精确约束或变量符号。\n滑动窗口直接把第一步给扔了。\n循环模型把第一步压缩成了一团模糊的影子，细节早就磨没了。\n一核对不上，整条推理链条当场断裂。\n这也是为什么过去那些固定状态的架构，在全美数学邀请赛 AIME 上，平均得分只有 18.8%。\n想省显存，智商就崩塌。\n想要模型聪明，显存就得无限往上膨胀。\n\n这个死结最近被一个叫 EdgeRock-4B 的开源模型解开了。\n来自 Rock Matrix 团队刚公开的一篇研究，论文编号是 arXiv 2610.10118。\n一个 4B 参数规模的模型，把 256K 上下文的 KV 缓存，死死卡在了 72 MiB。\n注意，是从 4K 一直到 256K，它的缓存大小完全不动，永远都是 72 MiB。\n比常规模型在长文本下的缓存开销，直接砍掉了 99.1%。\n\n怎么做到的？\n它既没有保留所有废话，也没有把历史粗暴地压成一团糊。\n它用了一套叫做岩石记忆锚点（Rock Memory Anchors，简称 RMA）的机制。\n\n它的网络分工很清楚。\n二十四层循环层负责推着上下文往前走，保留全局的流式感知。\n离当前最近的一千个词元，交给局部注意力窗口去精细阅读，保证每一句话遣词造句的自然连贯。\n更关键的一步，在长长的前文划过时，模型在训练中学会了自动识别哪些信息是关键节点。\n比如一个核心假设、一个代数公式、一个变量约束。\n模型把这些真正决定逻辑走向的片段，提取成记忆锚点，存进一个容量恒定的存储区里。\n不管输入拉到多长，这个存储区的格子数量始终固定。\n它不需要死记硬背路过的每一个字，它只要把能够串起因果链条的钉子，牢牢钉在墙上。\n当模型在十几万字之后需要回看时，它随时可以越过漫长的上下文，精准调取这些锚点。\n\n这个设计到底管不管用？\n看两个硬碰硬的数字。\n\n第一个是推理能力。\n在 2024 到 2026 年的 AIME 数学竞赛测试里，这个 4B 小模型的平均单次通过率达到了 82.9%。\n之前那些同样做固定内存的基线模型，哪怕模型规模做到 14B，得分也只有 18.8%。\n它没有变笨，它把复杂逻辑推理必须依赖的长距离记忆给保住了。\n\n第二个是服务吞吐量。\n在单张 80GB 的 Hopper 显卡上，因为每条序列只需要 72 MiB 显存，显卡不再被缓存卡死。\n它直接并发跑起了 512 条序列。\n整张卡的输出吞吐量达到每秒 12,124 个词元，是同尺寸标准架构 Qwen3.5-4B 的 6.42 倍。\n哪怕面对输入 128K 紧接着生成 128K 输出的极端长文本任务，生成速度依然能维持在每秒 233.7 个词元。\n\n做长文本不用非得把显卡买到破产。\n过去的大模型为了不忘掉远处的一只蝴蝶，不得不把一路上刮过的所有风声全抄进显存。\n放走不重要的噪音，把决定推理走向的锚点锁进固定的格子。\n显存停在 72 MiB 不动，二十五万字的记忆却依然清醒。\n这大概是大模型工程落地上，最干净漂亮的一种解题办法。","topic":"固定 72 MiB 显存跑 256K 上下文：EdgeRock-4B 如何用记忆锚点破解长文本死结","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-30 21:26:49","legal_anchor_count":0,"transcript_citation_count":0,"seo_title":"固定 72 MiB 显存跑 256K 上下文：EdgeRock-4B 如何用记忆锚点破解长文本死结","description":"大模型处理长文本时显存往往先于算力崩溃。传统固定状态架构虽省显存却在复杂推理中失灵，AIME 数学测试普遍跌至 18.8%。开源模型 EdgeRock-4B 引入岩石记忆锚点（RMA），将 256K 上下文的 KV 缓存锁定在 72 MiB，吞吐量提升至 6.42 倍且 AIME 通过率保持在 82.9%，…","domain":"ai","domain_label":"AI 与大模型","domain_label_en":"AI & LLMs","domain_url":"https://mubeitech.com/deep?domain=ai","canonical_url":"https://mubeitech.com/deep/mb-20261030-08507f","markdown_url":"https://mubeitech.com/deep/mb-20261030-08507f/markdown","json_url":"https://mubeitech.com/api/interpretations/mb-20261030-08507f","published_at":"2026-10-30T21:26:49Z"}