跳过反向传播直接改写权重：MIT展示大模型如何给神经网络做开颅手术

如果把八亿个没有任何标签的小数点扔给你，你能看出什么？

外行看是一堆乱码。 哪怕是顶尖的算法工程师，横看竖看也只是一片没有意义的白噪声。

这是过去几十年深度学习一直摆脱不掉的宿命。 神经网络虽然聪明，但它的脑子到底长什么样，没人真正说得清楚。 如果模型算错了一道题，或者卡在某句话里无限复读，人类根本找不出到底是哪几个数字出了毛病。

想要纠正它，唯一的传统办法就是喂成千上万条新数据，成百上千张显卡开足马力跑反向传播，赌梯度下降能碰巧把参数扭过来。 费时费电，而且完全凭概率。

但麻省理工学院（MIT CSAIL）的研究团队，刚刚试了一个匪夷所思的搞法。

他们把阿里巴巴开源的轻量模型 Qwen3.5-0.8B，摆在了最新的 GPT-6 Astra 面前。 不给训练集，不跑微调，也不算任何梯度。 任务只有一个：直接去读千问的底层权重文件，自己找毛病，自己动手改。

结果呢？

GPT-6 在 Python 环境里翻看这堆张量，直接挑出了其中 0.016% 的参数。 整个八亿参数的模型，它一共就改了 131072 个数字。

改完之后，千问在数学基准测试 MATH-500 上的成绩，直接从 7.9% 飙到了 48.1%。 指令遵循能力也翻了整整三倍。

改动万分之一点六的参数，数学性能暴涨了六倍？ 有没有搞错？

它是怎么做到的？

其实就是做了一场精准的脑外科手术。

千问 0.8B 这个模型，官方文档里早就写过一个已知缺陷。 因为参数量小，它在做长链条推导时特别容易陷入死循环。 比如推导到第三步，它就会不断重复同一句半生不熟的解释，反反复复说车轱辘话，直到把上下文长度全部耗尽，直接交了白卷。

以前想要治这个毛病，得找工程师专门清洗数据、跑强化学习。 但 GPT-6 是直接顺着千问的注意力层去排查。

它发现模型在特定层级的权重里，形成了一个高密度的数值陷阱。 只要推导进入这个区间，自注意力机制就会像陷进泥潭一样，死死咬住上一个词的概率不放，导致无限复读。

GPT-6 的动作非常利索。 它写了几行代码，直接把这十三万个引发死锁的参数给改写了。

数值陷阱一填平，千问不再复读，原本卡住的推理链条顺顺当当往下走完了。 之前考 7.9 分，倒不是因为不会算，是每次都在半路上把自己绕死了。

麻省理工的研究员竹日力也（Rikiya Takehi）和奥马尔·哈塔卜（Omar Khattab），把这种新范式叫做权重空间编程。

在过去，几乎所有人都认定神经网络的权重空间是人类无法解析的天书。 想要调模型，只能靠优化器去盲人摸象。

但这次实验发现，前沿大模型真能看懂这堆数字，甚至能像读源代码一样做逆向工程。

团队之前还给 GPT-6 喂过一个纯数字的强化学习小模型，没有任何文字说明。 GPT-6 单凭那张权重矩阵，发现底层的数值权重全集中在输入画面的最下方，直接推断出这是一个在屏幕底部控制挡板接球的雅达利打砖块模型。

它真的在阅读权重本身的语意。 既然能读懂，自然就能拿手术刀直接写。

当然，这项实验目前还处于早期的概念验证。 千问 0.8B 只有八亿参数，死循环特征也像骨折一样明显，容易准确定位。 如果换成几千亿参数的庞然大物，或者要给模型注入全新的前沿知识，那些交织在一起的权重还能不能一刀切准，目前谁也没有把握。

但它至少撕开了一个巨大的口子。 过去几十年我们塞进显卡里的万亿浮点数，终于不再是无法触碰的混沌黑盒。 当 AI 可以跳过耗资千万的梯度训练，像程序员修代码一样直接给同类动手术，整个大模型的研发逻辑可能真的要变了。