---
id: "mb-20261102-315929"
kind: "deep"
title: "跳过反向传播直接改写权重：MIT展示大模型如何给神经网络做开颅手术"
description: "麻省理工学院团队提出权重空间编程，让前沿大模型直接读取并修改千问0.8B的底层参数。在不经过任何梯度训练和微调的情况下，仅修改万分之一点六的权重便消除了推理死循环，使数学基准成绩暴涨六倍。这展示了神经网络权重从纯黑盒向可读写代码转变的可能。"
domain: "ai"
domain_label: "AI 与大模型"
canonical_url: "https://mubeitech.com/deep/mb-20261102-315929"
markdown_url: "https://mubeitech.com/deep/mb-20261102-315929/markdown"
json_url: "https://mubeitech.com/api/interpretations/mb-20261102-315929"
topic: "跳过反向传播直接改写权重：MIT展示大模型如何给神经网络做开颅手术"
source_type: "generated"
status: "published"
generated_at: "2026-11-02 21:38:10"
frame_type: ["机制"]
legal_anchor_count: 0
transcript_citation_count: 0
---

# 跳过反向传播直接改写权重：MIT展示大模型如何给神经网络做开颅手术

如果把八亿个没有任何标签的小数点扔给你，你能看出什么？

外行看是一堆乱码。
哪怕是顶尖的算法工程师，横看竖看也只是一片没有意义的白噪声。

这是过去几十年深度学习一直摆脱不掉的宿命。
神经网络虽然聪明，但它的脑子到底长什么样，没人真正说得清楚。
如果模型算错了一道题，或者卡在某句话里无限复读，人类根本找不出到底是哪几个数字出了毛病。

想要纠正它，唯一的传统办法就是喂成千上万条新数据，成百上千张显卡开足马力跑反向传播，赌梯度下降能碰巧把参数扭过来。
费时费电，而且完全凭概率。

但麻省理工学院（MIT CSAIL）的研究团队，刚刚试了一个匪夷所思的搞法。

他们把阿里巴巴开源的轻量模型 Qwen3.5-0.8B，摆在了最新的 GPT-6 Astra 面前。
不给训练集，不跑微调，也不算任何梯度。
任务只有一个：直接去读千问的底层权重文件，自己找毛病，自己动手改。

结果呢？

GPT-6 在 Python 环境里翻看这堆张量，直接挑出了其中 0.016% 的参数。
整个八亿参数的模型，它一共就改了 131072 个数字。

改完之后，千问在数学基准测试 MATH-500 上的成绩，直接从 7.9% 飙到了 48.1%。
指令遵循能力也翻了整整三倍。

改动万分之一点六的参数，数学性能暴涨了六倍？
有没有搞错？

它是怎么做到的？

其实就是做了一场精准的脑外科手术。

千问 0.8B 这个模型，官方文档里早就写过一个已知缺陷。
因为参数量小，它在做长链条推导时特别容易陷入死循环。
比如推导到第三步，它就会不断重复同一句半生不熟的解释，反反复复说车轱辘话，直到把上下文长度全部耗尽，直接交了白卷。

以前想要治这个毛病，得找工程师专门清洗数据、跑强化学习。
但 GPT-6 是直接顺着千问的注意力层去排查。

它发现模型在特定层级的权重里，形成了一个高密度的数值陷阱。
只要推导进入这个区间，自注意力机制就会像陷进泥潭一样，死死咬住上一个词的概率不放，导致无限复读。

GPT-6 的动作非常利索。
它写了几行代码，直接把这十三万个引发死锁的参数给改写了。

数值陷阱一填平，千问不再复读，原本卡住的推理链条顺顺当当往下走完了。
之前考 7.9 分，倒不是因为不会算，是每次都在半路上把自己绕死了。

麻省理工的研究员竹日力也（Rikiya Takehi）和奥马尔·哈塔卜（Omar Khattab），把这种新范式叫做权重空间编程。

在过去，几乎所有人都认定神经网络的权重空间是人类无法解析的天书。
想要调模型，只能靠优化器去盲人摸象。

但这次实验发现，前沿大模型真能看懂这堆数字，甚至能像读源代码一样做逆向工程。

团队之前还给 GPT-6 喂过一个纯数字的强化学习小模型，没有任何文字说明。
GPT-6 单凭那张权重矩阵，发现底层的数值权重全集中在输入画面的最下方，直接推断出这是一个在屏幕底部控制挡板接球的雅达利打砖块模型。

它真的在阅读权重本身的语意。
既然能读懂，自然就能拿手术刀直接写。

当然，这项实验目前还处于早期的概念验证。
千问 0.8B 只有八亿参数，死循环特征也像骨折一样明显，容易准确定位。
如果换成几千亿参数的庞然大物，或者要给模型注入全新的前沿知识，那些交织在一起的权重还能不能一刀切准，目前谁也没有把握。

但它至少撕开了一个巨大的口子。
过去几十年我们塞进显卡里的万亿浮点数，终于不再是无法触碰的混沌黑盒。
当 AI 可以跳过耗资千万的梯度训练，像程序员修代码一样直接给同类动手术，整个大模型的研发逻辑可能真的要变了。

_Canonical: <https://mubeitech.com/deep/mb-20261102-315929> · Source: 墓碑科技 MUBEITECH (mubeitech.com)_
_Rendered by mubei-terminal._