--- id: "mb-20261103-b644f2" kind: "deep" title: "不靠梯度重训：MIT让大模型直接修改神经网络底层权重" description: "麻省理工团队展示了一种全新的权重空间编程方法：无需反向传播或梯度计算，由高阶大模型直接分析小模型内部神经网络的运行轨迹，仅修改特定层万分之一点六的底层权重，就彻底排除了小模型的推理死循环，并大幅提升数学推理成绩。" domain: "ai" domain_label: "AI 与大模型" canonical_url: "https://mubeitech.com/deep/mb-20261103-b644f2" markdown_url: "https://mubeitech.com/deep/mb-20261103-b644f2/markdown" json_url: "https://mubeitech.com/api/interpretations/mb-20261103-b644f2" topic: "不靠梯度重训：MIT让大模型直接修改神经网络底层权重" source_type: "generated" status: "published" generated_at: "2026-11-03 07:07:00" frame_type: ["机制"] legal_anchor_count: 0 transcript_citation_count: 0 --- # 不靠梯度重训：MIT让大模型直接修改神经网络底层权重 如果一个模型做数学题老做错，你怎么修它？ 正常人的做法，是找几万道题目，重新跑一遍梯度下降。 算力跑满，风扇狂转，花几个小时甚至几天，指望优化算法把几十亿个浮点数慢慢往对的方向推。 因为在大家的常识里，神经网络的底层权重就是一堆看不懂的数字迷宫。 没人能直接打开底层权重，像程序员改代码那样把它修好。 麻省理工 CSAIL 的研究团队最近干了一件听起来像科幻的事。 他们把一个叫 Qwen3.5-0.8B 的开源小模型，直接交给了 GPT-6 Astra。 没有反向传播。 没有梯度计算。 没有重新训练。 Astra 直接读取了这个小模型的底层权重，在里面动了动手术。 改完之后，这个小模型的数学推理成绩，在 MATH-500 测试集上直接从 7.9% 飙到了 48.1%。 它是怎么做到的？ 先看这个小模型到底出了什么毛病。 Qwen3.5-0.8B 只有 8 亿参数，做数学题的时候有个致命毛病：容易死循环。 遇到难一点的步骤，它就会在那同一句话里来回兜圈子，停不下来。 足足 93% 的答题失败，都是因为自己把自己绕晕、把字数额度耗尽而彻底挂掉。 这就像一个人做题，算到某一步卡住了，就开始在草稿纸上无限重复抄同一行算式。 Astra 要怎么修？ 研究团队只给了 Astra 50 次前向传播的测试机会。 就是让小模型把题目跑一遍，看看信号到底流过了哪些神经元。 注意，这里只有前向传播，不计算任何误差梯度。 Astra 顺着运行轨迹去读小模型的权重矩阵。 它还真把那个死循环给揪出来了。 问题出在第 15 层和第 19 层的两个多层感知机层。 这两层网络在处理特定逻辑时，会往同一个方向持续写入信号，把后面的层彻底锁死在循环里。 找到了故障点，接下来就是动手术。 Astra 像读源代码一样，理解了那两层矩阵的计算逻辑。 然后它直接算出了几个微调参数，把这组特定的方向向量给压了下去。 整个手术动了多少参数？ 小模型一共 8 亿个参数。 Astra 只修改了其中的 131072 个数字。 换算下来，刚好是总权重的 0.016%。 就动了万分之一点六的权重参数，这台机器会发生什么？ 拿改完的模型重新去跑测试。 之前那些没完没了的死循环，几乎全部消失了。 原本只有 7.9% 的 MATH-500 数学得分，直接冲到了 48.1%。 基础算术题 GSM8K 从 13.8% 飙到了 67.1%。 更神的是，这个改动完全没有破坏其他能力。 用来测试指令遵循能力的测试集，得分反而从 21.0% 升到了 62.3%。 以前我们总觉得，神经网络是一个不可解释的黑盒。 程序写坏了可以改代码，但模型出了故障，人类只能靠海量数据和算力暴力重训。 这项被称为权重空间编程的研究，第一次展示了一种完全不同的可能性： 大模型不只理解人类写的高级代码，连另一个模型的神经网络回路，它也能直接读懂。 不需要昂贵的训练集群，也不用成千上万条标注数据。 找到那根搭错的神经，拿起手术刀，直接把里面的数字给改过来。 _Canonical: · Source: 墓碑科技 MUBEITECH (mubeitech.com)_ _Rendered by mubei-terminal._