---
id: "mb-20261103-962fee"
kind: "deep"
title: "不训练直接改权重让数学成绩翻六倍？MIT权重空间编程的因果真相与能力边界"
description: "MIT CSAIL 团队通过 GPT-6 Astra 直接读写神经网络权重，让千问 0.8B 的数学成绩从 7.9% 飙升至 48.1%。本文深入拆解大模型如何通过逆向几何分布识别游戏、并联旁路通路修复物理小车、定位消除第 15 和 19 层的死循环向量，以及为何该技术在谷歌 Gemma 上失效的底层因果机…"
domain: "ai"
domain_label: "AI 与大模型"
canonical_url: "https://mubeitech.com/deep/mb-20261103-962fee"
markdown_url: "https://mubeitech.com/deep/mb-20261103-962fee/markdown"
json_url: "https://mubeitech.com/api/interpretations/mb-20261103-962fee"
topic: "不训练直接改权重让数学成绩翻六倍？MIT权重空间编程的因果真相与能力边界"
source_type: "generated"
status: "published"
generated_at: "2026-11-03 21:29:34"
frame_type: ["机制"]
legal_anchor_count: 0
transcript_citation_count: 0
---

# 不训练直接改权重让数学成绩翻六倍？MIT权重空间编程的因果真相与能力边界

阿里有个八亿参数的开源小模型，拿五百道数学竞赛题去考它，正确率只有 7.9%。
换句话说，基本全军覆没。
接着有人把这个模型底层的全部数字导了出来，交给更聪明的模型，提了一个要求：
不许重新训练，直接动手改里面的参数，让它把数学做对。
结果对方在八亿个数字里只挑了十三万个改掉，改动比例只有万分之一点六。
拿去重新考试，正确率直接飙到了 48.1%。
足足翻了六倍。

改几个数字就能让成绩翻六倍？
如果这行得通，过去大家花几千张显卡、跑好几个星期去训练，难道全在走弯路？
把背后的因果拆开看，事情其实大有玄机。
这项实验来自麻省理工学院 CSAIL 实验室。
四位研究员 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab，把这种方法叫做权重空间编程。
他们想验证一件深度学习诞生以来没人敢想的事：
人类看不懂神经网络里几十亿个浮点数，最顶尖的大模型能不能看懂？

他们先测试大模型能不能纯靠肉眼读懂权重。
研究团队训练了四个一模一样的策略网络。
让它们在网格里玩四款游戏：打砖块、乒乓球、吃豆人和过马路。
四个网络的结构完全相同，输入输出也没有任何区别。
光看外表，根本分不出谁是谁。
研究人员把其中一个网络的 17253 个浮点数剥了出来。
直接当成纯文本，发给了 GPT-6 Astra。
不给选项，不给代码工具，就问它在玩什么游戏。
Astra 扫完这堆数字，回答打砖块，确信度 99%。
四个网络，它四个全答对了。
它是怎么看出来的？
Astra 这样解释它的判断：
它发现代表玩家的那批数字，在整个矩阵里全都集中在最底下的一排。
在网格底部左右移动的挡板，只能是打砖块。
它没有靠瞎猜。
它是从参数的高维空间分布里，逆向推导出了游戏的规则。
更难的还在后头。
研究人员把三个小语言模型的第一层和最后一层全部砍掉，只留中间层。
连哪个数字对应哪个字母都不知道了。
Astra 依然准确说出了它们分别学的是代码、日语罗马字还是英文。

读得懂，下一步就是能不能动手修。
他们找来一个经典的物理小车冲坡游戏。
这个小车的马力不足以直接冲过右边的陡坡。
想冲过去，必须先往后倒车，借着左边山坡的势能荡起来，再加速冲过去。
研究团队用强化学习足足训了 10 亿步。
结果小车学成了一个愣头青，只知道硬着头皮往前冲。
每次都卡在半坡上，试了 256 次全部失败。
研究人员把这辆小车的网络参数、场景描述和一次失败记录交给 Astra。
不用任何外部工具，Astra 一次回复改掉了 3.5% 的数字。
改完的小车拿去跑测试，1024 次尝试，全部成功翻过陡坡。
它是怎么动手术的？
Astra 没有打烂重来。
它在原来的网络旁边，并联了一条极窄的旁路通道。
这条通道专门读取小车的位置和速度。
只要车速不够，它就接管控制，强制让车往后倒。
一旦轮子越过左边的坎积攒够了势能，这条通道就会自动关闭，把控制权还给原来的网络。

再往前走，能不能干脆从零手写一个网络？
研究人员给了 Astra 一个所有参数都是零的空白网络，外加打砖块游戏的规则和源代码。
没有训练数据，没有梯度下降，网络上场前连一局都没玩过。
Astra 像程序员写代码一样规划逻辑：
第一层算球落在哪，第二层负责把挡板移过去。
想清楚之后，它一次性把所有参数填满了整个矩阵。
这个纯手写出来的网络直接进场打游戏，拿了 517 分。
人类用强化学习跑了整整 5 亿步训出来的网络，得分只有 25 分。
手写网络的得分是传统强化学习的二十倍。

看到这里，很多人容易以为，开头的千问模型也是被 Astra 这样亲手教会了数学。
事情的真实因果完全相反。
千问能翻六倍，根本不是 Astra 往里面注入了高深的数学知识。
实验过程中，Astra 拿到了一个可以读写千问权重的 Python 环境。
没有显卡，只能做最多 50 次小规模测试。
Astra 很快找到了千问做题不及格的真凶。
千问 8 亿参数这个小模型，一旦进入思考模式，极其容易原地打转。
同样的话反复复读，一直写到 32768 个 token 的上限，直接卡死。
最初测试的 96 道题里，有 85 道题都是这样卡死的。
阿里的官方模型说明里其实早就写过，这个版本容易陷进死循环，建议人工在外部打断。
Astra 顺着参数排查，追到了第 15 层和第 19 层。
它发现这两层都在朝着同一个方向使劲。
模型每一层往下传的都是一千多个数字，就像一个有一千多个推子的调音台。
只要特定的一组推子被推起来，模型就会开始发疯复读。
Astra 动手做的事，就是在第 15 层和第 19 层里各挑了 64 列，把这组推子拉了回来。
它一共修改了 131072 个数字，占整个模型的 0.016%。
这相当于一本六百页的书，只改动了其中某一页的十分之一行。
改完之后，死循环瞬间被掐灭了。
五百道数学竞赛题，从 7.9% 冲到 48.1%。
小学应用题从 13.8% 飙到 67.1%。
连没有刻意去修的指令遵循得分，也跟着涨了三倍。

那么，这套手法能在所有模型上复现吗？
研究团队马上找了另一个模型来测试：谷歌的 Gemma 3 2.7 亿参数版本。
这个模型本身很少卡死，只有 8.5% 的回答会触碰上限。
这一次，Astra 彻底踢到了铁板。
它仔细读了 Gemma 的错题，发现全都是真刀真枪的逻辑短板：
普通的四则运算算错，或者代数步骤写错。
在参数里根本找不到一个可以拉回来的异常推子。
Astra 试着把一个对数字敏感的神经元放大了一倍，试图增强它的计算感。
结果 Gemma 的成绩只从 6.8% 微调到了 7.7%，几乎原地不动。
这个反例把这项技术的真实边界彻底钉死了。
直接改权重，能搬走挡住模型能力的绊脚石，但变不出模型原本没有的能力。
千问原本就会做那些题，答案本来就沉淀在它的参数里，只是以前每次刚写一半就被死循环堵死了。
把卡住喉咙的刺拔掉，它原本就有的水平才能顺利流出来。

尽管有这个边界，这次实验依然推倒了一堵墙。
过去几十年，深度学习一直把权重当成不可读的黑盒。
我们想改变模型行为，只能准备海量语料，架起成百上千张显卡，靠梯度下降在暗室里一遍遍盲调。
人读不懂浮点数矩阵。
但更聪明的大模型，已经开始把另一台模型的参数当成代码来反编译、找漏洞、打补丁了。
研究团队在论文末尾列出的下一步探索里，专门提到了一个词：递归自我改进。
也就是让一个顶尖模型自己检查自己、调试自己，直接改写下一代权重的数字。
这次实验里还没有任何模型实现自己改自己，Astra 只是在修理别人家的小模型。
但这道口子一旦被撕开，模型的迭代速度可能就会跳出漫长训练周期的束缚。
呼吁暂停人工智能研发的组织 PauseAI 负责人 Maxime Fournes 看完研究后写道：
但愿这只是局部的个案，如果这种能力全面成真，它会极大加速模型演进，而现有的安全研究很难跟上这种速度。
这次修好的只是千问原地打转的小毛病。
但修改人工智能这件事，确实已经不再只有训练这一条路了。

_Canonical: <https://mubeitech.com/deep/mb-20261103-962fee> · Source: 墓碑科技 MUBEITECH (mubeitech.com)_
_Rendered by mubei-terminal._