不跑训练不喂数据：MIT让大模型直接修改参数权重，小模型数学跑分暴涨六倍

如果一个 AI 模型做数学题老是陷入死循环，以前要怎么修？

传统的办法只有一种：重新收集大量数据，架起几百张显卡，跑好几天反向传播和强化学习。 费时、费电，还不一定能彻底修好。

但麻省理工学院最近试了一种完全不同的路子。 他们既不喂新数据，也不跑梯度训练，直接找来另一个更聪明的大模型，把这个有缺陷的模型底层参数当成普通代码来读。 就像神经外科手术一样，只改动了里面万分之一点六的参数。 改完一测，数学成绩从 7.9% 飙升到了 48.1%。

这项研究来自麻省理工学院 CSAIL 实验室的团队。 四位研究员 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab，把这种方法叫做权重空间编程。 他们挑了一个现成的小模型做实验：阿里开源的 Qwen3.5-0.8B。 这个模型只有 8 亿参数，平时代替大模型跑点轻量任务挺好用，但在数学推理上有一个老毛病。 官方文档其实早就写过：它特别容易陷入循环推理。 解一道稍微复杂点的题，它就会像卡带一样，不断重复同一两句推导，把上下文长度耗光，最后直接报错。 在测试数学能力的 MATH-500 榜单上，它的正确率只有可怜的 7.9%。

以往要纠正这种循环毛病，工程团队得重新清洗微调数据集，甚至做几轮强化学习对齐。 但这次研究人员直接请出了 OpenAI 的 GPT-6 Astra。 实验里，Astra 连 Qwen 这个模型都没有实际运行。 它做的事情，是直接检视 Qwen 内部那些原本由几十亿个浮点数组成的权重矩阵。

神经网络为什么过去一直被当成黑盒子？ 因为在传统的深度学习里，参数全是通过算法由计算机自动迭代出来的。 人类大脑根本看不懂这些高维矩阵里哪串数字代表什么。 但 Astra 扫过 Qwen 的参数之后，在它的前馈网络层（MLP）里，精准定位出了一条专门诱发循环推理的特征向量。 找到问题所在之后，Astra 直接用 Python 写了一段张量运算。 它的操作极其干净：在特定的前馈网络层里，把这组诱发循环的向量分量直接减掉。

整个 Qwen 模型有 8 亿个参数。 Astra 动过刀的参数只有大约 0.016%，换算下来也就 13 万个浮点数。 零数据微调，零梯度回传。 改动完成的那一刻，Qwen 做数学题时的车轱辘话瞬间消失了。 MATH-500 榜单的得分，直接从 7.9% 跃升到了 48.1%，足足翻了六倍。 小学生应用题测试 GSM8K，从 13.8% 涨到了 67.1%。 连复杂的指令遵循测试 IFEval，得分也跟着翻了近两倍。

如果只是修好一个漏洞，可能还不算太稀奇。 但团队紧接着做了第二个实验：让大模型在完全空白的参数空间里，凭空写出一个神经网络。 他们给 Astra 出了一道题，让它手搓一个用来玩游戏的策略网络。 过去制造这种网络，需要把模型扔进游戏环境里，用强化学习算法摸爬滚打跑上一亿步，靠成千上万次碰壁来摸索规律。 Astra 一次游戏都没进过，没有收到任何来自环境的反馈。 它只是坐在那里，纯靠对权重空间和策略逻辑的理解，直接生成了一组参数矩阵。 拿去游戏环境里实测，这个手搓出来的模型，表现甚至超过了强化学习跑了一亿步的对照组。

Databricks 的技术专家 Yuchen Jin 在社交平台上评价，这就像是给神经网络做基因编辑，甚至比模型蒸馏更酷。 Voyage AI 的研究员 Chandan Singh 也认为，大家可能还低估了这项研究的潜在价值。 过去大家教小模型，靠的是知识蒸馏。 大模型先生成海量答案，小模型拿着答案再从头跑训练，依然是在用海量算力和时间去碰概率。 现在展现出来的可能，是大模型直接把另一个模型的权重当成汇编语言来读，哪里有逻辑缺陷，就在底层把对应的几个参数擦掉重写。

当然，现在还远远没到宣布淘汰传统训练的时候。 这项研究之所以命名为权重空间编程的火花，正因为它还处在非常早期的探索阶段。 这次被成功动刀的，只是一个 8 亿参数的小模型，解决的也是一个特征极其鲜明的死循环问题。 一旦模型规模上升到 700 亿甚至上千亿，参数之间的耦合关系会成倍剧增。 大模型能不能继续在更庞大、更混沌的高维空间里准确定位神经回路？ 直接修改局部参数，会不会引发副作用，在修好数学的同时损坏其他语言能力？ 这些都还是留在实验室里的未知数。

但这项实验至少明确了一件事： 神经网络的底层权重，可能并不像我们一直以为的那样是一团完全不可读的数字混沌。 当大模型的推理能力足够强时，那些几亿个浮点数交织起来的内部结构，在它眼里开始具备了清晰的逻辑形态。 AI 不再只是等待人类喂养数据的黑盒，它开始学着拿起手术刀，直接修理和编写另一个 AI 的大脑了。