---
id: "mb-20261103-0a7287"
kind: "deep"
title: "不跑训练不喂数据：MIT让大模型直接修改参数权重，小模型数学跑分暴涨六倍"
description: "麻省理工学院团队提出权重空间编程，用前沿大模型直接审阅未运行的底层参数矩阵，仅修改千分之零点一六的权重就消除了开源小模型的循环推理缺陷，使数学基准得分提升近六倍。这种绕过梯度下降的参数级手术，展示了AI直接理解并重构神经网络底层机制的全新演进路径。"
domain: "ai"
domain_label: "AI 与大模型"
canonical_url: "https://mubeitech.com/deep/mb-20261103-0a7287"
markdown_url: "https://mubeitech.com/deep/mb-20261103-0a7287/markdown"
json_url: "https://mubeitech.com/api/interpretations/mb-20261103-0a7287"
topic: "不跑训练不喂数据：MIT让大模型直接修改参数权重，小模型数学跑分暴涨六倍"
source_type: "generated"
status: "published"
generated_at: "2026-11-03 21:29:28"
frame_type: ["机制"]
legal_anchor_count: 0
transcript_citation_count: 0
---

# 不跑训练不喂数据：MIT让大模型直接修改参数权重，小模型数学跑分暴涨六倍

如果一个 AI 模型做数学题老是陷入死循环，以前要怎么修？

传统的办法只有一种：重新收集大量数据，架起几百张显卡，跑好几天反向传播和强化学习。
费时、费电，还不一定能彻底修好。

但麻省理工学院最近试了一种完全不同的路子。
他们既不喂新数据，也不跑梯度训练，直接找来另一个更聪明的大模型，把这个有缺陷的模型底层参数当成普通代码来读。
就像神经外科手术一样，只改动了里面万分之一点六的参数。
改完一测，数学成绩从 7.9% 飙升到了 48.1%。

这项研究来自麻省理工学院 CSAIL 实验室的团队。
四位研究员 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab，把这种方法叫做权重空间编程。
他们挑了一个现成的小模型做实验：阿里开源的 Qwen3.5-0.8B。
这个模型只有 8 亿参数，平时代替大模型跑点轻量任务挺好用，但在数学推理上有一个老毛病。
官方文档其实早就写过：它特别容易陷入循环推理。
解一道稍微复杂点的题，它就会像卡带一样，不断重复同一两句推导，把上下文长度耗光，最后直接报错。
在测试数学能力的 MATH-500 榜单上，它的正确率只有可怜的 7.9%。

以往要纠正这种循环毛病，工程团队得重新清洗微调数据集，甚至做几轮强化学习对齐。
但这次研究人员直接请出了 OpenAI 的 GPT-6 Astra。
实验里，Astra 连 Qwen 这个模型都没有实际运行。
它做的事情，是直接检视 Qwen 内部那些原本由几十亿个浮点数组成的权重矩阵。

神经网络为什么过去一直被当成黑盒子？
因为在传统的深度学习里，参数全是通过算法由计算机自动迭代出来的。
人类大脑根本看不懂这些高维矩阵里哪串数字代表什么。
但 Astra 扫过 Qwen 的参数之后，在它的前馈网络层（MLP）里，精准定位出了一条专门诱发循环推理的特征向量。
找到问题所在之后，Astra 直接用 Python 写了一段张量运算。
它的操作极其干净：在特定的前馈网络层里，把这组诱发循环的向量分量直接减掉。

整个 Qwen 模型有 8 亿个参数。
Astra 动过刀的参数只有大约 0.016%，换算下来也就 13 万个浮点数。
零数据微调，零梯度回传。
改动完成的那一刻，Qwen 做数学题时的车轱辘话瞬间消失了。
MATH-500 榜单的得分，直接从 7.9% 跃升到了 48.1%，足足翻了六倍。
小学生应用题测试 GSM8K，从 13.8% 涨到了 67.1%。
连复杂的指令遵循测试 IFEval，得分也跟着翻了近两倍。

如果只是修好一个漏洞，可能还不算太稀奇。
但团队紧接着做了第二个实验：让大模型在完全空白的参数空间里，凭空写出一个神经网络。
他们给 Astra 出了一道题，让它手搓一个用来玩游戏的策略网络。
过去制造这种网络，需要把模型扔进游戏环境里，用强化学习算法摸爬滚打跑上一亿步，靠成千上万次碰壁来摸索规律。
Astra 一次游戏都没进过，没有收到任何来自环境的反馈。
它只是坐在那里，纯靠对权重空间和策略逻辑的理解，直接生成了一组参数矩阵。
拿去游戏环境里实测，这个手搓出来的模型，表现甚至超过了强化学习跑了一亿步的对照组。

Databricks 的技术专家 Yuchen Jin 在社交平台上评价，这就像是给神经网络做基因编辑，甚至比模型蒸馏更酷。
Voyage AI 的研究员 Chandan Singh 也认为，大家可能还低估了这项研究的潜在价值。
过去大家教小模型，靠的是知识蒸馏。
大模型先生成海量答案，小模型拿着答案再从头跑训练，依然是在用海量算力和时间去碰概率。
现在展现出来的可能，是大模型直接把另一个模型的权重当成汇编语言来读，哪里有逻辑缺陷，就在底层把对应的几个参数擦掉重写。

当然，现在还远远没到宣布淘汰传统训练的时候。
这项研究之所以命名为权重空间编程的火花，正因为它还处在非常早期的探索阶段。
这次被成功动刀的，只是一个 8 亿参数的小模型，解决的也是一个特征极其鲜明的死循环问题。
一旦模型规模上升到 700 亿甚至上千亿，参数之间的耦合关系会成倍剧增。
大模型能不能继续在更庞大、更混沌的高维空间里准确定位神经回路？
直接修改局部参数，会不会引发副作用，在修好数学的同时损坏其他语言能力？
这些都还是留在实验室里的未知数。

但这项实验至少明确了一件事：
神经网络的底层权重，可能并不像我们一直以为的那样是一团完全不可读的数字混沌。
当大模型的推理能力足够强时，那些几亿个浮点数交织起来的内部结构，在它眼里开始具备了清晰的逻辑形态。
AI 不再只是等待人类喂养数据的黑盒，它开始学着拿起手术刀，直接修理和编写另一个 AI 的大脑了。

_Canonical: <https://mubeitech.com/deep/mb-20261103-0a7287> · Source: 墓碑科技 MUBEITECH (mubeitech.com)_
_Rendered by mubei-terminal._