{"id":"mb-20261103-b644f2","kind":"deep","title":"不靠梯度重训：MIT让大模型直接修改神经网络底层权重","summary":"麻省理工团队展示了一种全新的权重空间编程方法：无需反向传播或梯度计算，由高阶大模型直接分析小模型内部神经网络的运行轨迹，仅修改特定层万分之一点六的底层权重，就彻底排除了小模型的推理死循环，并大幅提升数学推理成绩。","body":"如果一个模型做数学题老做错，你怎么修它？\n\n正常人的做法，是找几万道题目，重新跑一遍梯度下降。\n算力跑满，风扇狂转，花几个小时甚至几天，指望优化算法把几十亿个浮点数慢慢往对的方向推。\n因为在大家的常识里，神经网络的底层权重就是一堆看不懂的数字迷宫。\n没人能直接打开底层权重，像程序员改代码那样把它修好。\n\n麻省理工 CSAIL 的研究团队最近干了一件听起来像科幻的事。\n他们把一个叫 Qwen3.5-0.8B 的开源小模型，直接交给了 GPT-6 Astra。\n没有反向传播。\n没有梯度计算。\n没有重新训练。\nAstra 直接读取了这个小模型的底层权重，在里面动了动手术。\n改完之后，这个小模型的数学推理成绩，在 MATH-500 测试集上直接从 7.9% 飙到了 48.1%。\n\n它是怎么做到的？\n\n先看这个小模型到底出了什么毛病。\nQwen3.5-0.8B 只有 8 亿参数，做数学题的时候有个致命毛病：容易死循环。\n遇到难一点的步骤，它就会在那同一句话里来回兜圈子，停不下来。\n足足 93% 的答题失败，都是因为自己把自己绕晕、把字数额度耗尽而彻底挂掉。\n这就像一个人做题，算到某一步卡住了，就开始在草稿纸上无限重复抄同一行算式。\n\nAstra 要怎么修？\n\n研究团队只给了 Astra 50 次前向传播的测试机会。\n就是让小模型把题目跑一遍，看看信号到底流过了哪些神经元。\n注意，这里只有前向传播，不计算任何误差梯度。\nAstra 顺着运行轨迹去读小模型的权重矩阵。\n它还真把那个死循环给揪出来了。\n\n问题出在第 15 层和第 19 层的两个多层感知机层。\n这两层网络在处理特定逻辑时，会往同一个方向持续写入信号，把后面的层彻底锁死在循环里。\n\n找到了故障点，接下来就是动手术。\nAstra 像读源代码一样，理解了那两层矩阵的计算逻辑。\n然后它直接算出了几个微调参数，把这组特定的方向向量给压了下去。\n\n整个手术动了多少参数？\n小模型一共 8 亿个参数。\nAstra 只修改了其中的 131072 个数字。\n换算下来，刚好是总权重的 0.016%。\n\n就动了万分之一点六的权重参数，这台机器会发生什么？\n\n拿改完的模型重新去跑测试。\n之前那些没完没了的死循环，几乎全部消失了。\n原本只有 7.9% 的 MATH-500 数学得分，直接冲到了 48.1%。\n基础算术题 GSM8K 从 13.8% 飙到了 67.1%。\n更神的是，这个改动完全没有破坏其他能力。\n用来测试指令遵循能力的测试集，得分反而从 21.0% 升到了 62.3%。\n\n以前我们总觉得，神经网络是一个不可解释的黑盒。\n程序写坏了可以改代码，但模型出了故障，人类只能靠海量数据和算力暴力重训。\n这项被称为权重空间编程的研究，第一次展示了一种完全不同的可能性：\n大模型不只理解人类写的高级代码，连另一个模型的神经网络回路，它也能直接读懂。\n不需要昂贵的训练集群，也不用成千上万条标注数据。\n找到那根搭错的神经，拿起手术刀，直接把里面的数字给改过来。","topic":"不靠梯度重训：MIT让大模型直接修改神经网络底层权重","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-11-03 07:07:00","legal_anchor_count":0,"transcript_citation_count":0,"seo_title":"不靠梯度重训：MIT让大模型直接修改神经网络底层权重","description":"麻省理工团队展示了一种全新的权重空间编程方法：无需反向传播或梯度计算，由高阶大模型直接分析小模型内部神经网络的运行轨迹，仅修改特定层万分之一点六的底层权重，就彻底排除了小模型的推理死循环，并大幅提升数学推理成绩。","domain":"ai","domain_label":"AI 与大模型","domain_label_en":"AI & LLMs","domain_url":"https://mubeitech.com/deep?domain=ai","canonical_url":"https://mubeitech.com/deep/mb-20261103-b644f2","markdown_url":"https://mubeitech.com/deep/mb-20261103-b644f2/markdown","json_url":"https://mubeitech.com/api/interpretations/mb-20261103-b644f2","published_at":"2026-11-03T07:07:00Z"}