{"id":"mb-20260919-7317e7","kind":"deep","title":"解耦记忆与计算：DeepSeek 763B 为什么能反向砸穿显存墙？","summary":"大模型自回归解码长期受困于显存带宽瓶颈。DeepSeek-V4.1-Flash 将 1960 亿参数剥离为 Engram 条件记忆查表，以低成本系统内存替代高带宽显存，结合因果编解码器重构键值缓存，展示了计算与记忆解耦如何打破参数规模与显存成本的绑定。","body":"DeepSeek 刚发布了新模型 V4.1 Flash。\n总参数量 7630 亿。\n比它当年轰动全球的 V3 和 R1 还要庞大两倍半。\n按照行业常识，把这么大体量的模型放进机房。\n在 FP8 精度下。\n光是装下权重，至少要霸占 763 GB 显存。\n可这台模型跑起来，只需要 567 GB 显存。\n吞吐量不降反升。\n同一台服务器上能并发承载的用户数量，直接翻了四到八倍。\n\n参数量暴涨两倍半，为什么吃进去的硬件资源反而断崖式下跌？\n多出来的两千亿参数，难道不占空间？\n是测试数字注水，还是硅谷那套算力账本从一开始就算错了？\n\n把这台模型的架构拆开，里面藏着一个推翻行业九年惯例的设计。\n它把大模型的躯体切成了两半。\n7630 亿总参数里。\n有 5520 亿是传统的混合专家计算网络。\n剩下的 1960 亿，被做成了一个独立的条件记忆模块。\n架构里叫它 Engram。\n这 1960 亿参数，完全不参与高强度的矩阵乘法。\n它们是一张张庞大的静态查表。\n\n过去九年，所有大语言模型底层都困在一道窄门里。\n自回归解码的内存墙。\n每吐出一个词元。\n硬件都必须把激活的权重在显存里完整拖拽一遍。\n芯片的核心算力再强。\n大部分时间也只能干等数据从显存里挪过来。\n而此前全行业最大的浪费。\n是强迫神经网络用昂贵的矩阵乘法。\n去反复重算那些固定不变的静态事实。\n比如问勾股定理的公式。\n人类大脑根本不需要从头推导。\n那是一种本能的联想反应，连一毫秒都不用思考。\n传统大模型却要调动几十层网络。\n让数十亿参数反复做浮点计算，才把这几个词拼出来。\n为了让模型存下成千上万的事实和搭配。\n工程师只能拼命把参数堆大。\n参数每多一分，显存带宽就被勒得更紧一分。\n显卡越来越贵。\n高带宽显存被炒成天价。\n全行业都在为这种暴力计算买单。\n\n今年 1 月，DeepSeek 发表了一篇论文。\n他们把目光转回了上世纪九十年代的一项老技术：N-gram。\n连续几个词的搭配规律，本质上就是最廉价的静态知识索引。\nEngram 模块把 1960 亿参数。\n做成了常数级复杂度的哈希查表。\n模型看到前面的上下文，瞬间算出哈希值。\n直接在表里提取出对应的向量特征，喂给后面的计算网络。\n每生成一个词，整个过程只涉及几十次简单的查表操作。\n不需要让千亿参数在显卡核心里汹涌流转。\n这就是大模型在混合专家架构之后的第二轴稀疏性。\n用查表替代计算。\n\n更底层的连锁反应发生在硬件账本上。\n既然这 1960 亿参数只是静态查表。\n它们为什么非要挤在昂贵的显存里？\n查表只需要随机寻址，不需要恐怖的显存带宽。\n它们完全可以被挪出显卡。\n直接塞进便宜得多的普通内存，甚至高速固态硬盘里。\n显存只需要留给那 5520 亿需要高频计算的核心专家。\n再加上因果编解码器对键值缓存的重构。\n高并发下最吃显存的会话缓存，被当场砍掉了近八成。\n原本需要八卡高配集群才能勉强承接的模型，硬件门槛被生生砸穿。\n\n长久以来，整个 AI 产业被锁死在一条昂贵的叙事轨道上。\n更大的智能，必须吃下更多的显存。\n绑定更多单价数万美元的顶级芯片。\n硬件巨头靠高带宽显存赚取超额利润。\n云厂商把参数体量当成租售算力的垄断高墙。\n但这套商业神话，建立在一个从未被质疑的假设上：\n把记忆当成计算。\n当记忆从计算里被剥离出来。\n用最朴素的查表降维解决。\n那堵由高带宽显存筑起的垄断高墙，瞬间被抽掉了地基。\n决定工程进化上限的，从来不在硬件价格标签上有几个零。\n在于有人先想明白，哪些东西本就不该交给算力去硬算。","topic":"解耦记忆与计算：DeepSeek 763B 为什么能反向砸穿显存墙？","frame_type":["条件记忆解耦与第二轴查表稀疏性（Engram /","机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-09-19 21:27:33","legal_anchor_count":0,"transcript_citation_count":0}