不训练直接改权重让数学成绩翻六倍？MIT权重空间编程的因果真相与能力边界

阿里有个八亿参数的开源小模型，拿五百道数学竞赛题去考它，正确率只有 7.9%。 换句话说，基本全军覆没。 接着有人把这个模型底层的全部数字导了出来，交给更聪明的模型，提了一个要求： 不许重新训练，直接动手改里面的参数，让它把数学做对。 结果对方在八亿个数字里只挑了十三万个改掉，改动比例只有万分之一点六。 拿去重新考试，正确率直接飙到了 48.1%。 足足翻了六倍。

改几个数字就能让成绩翻六倍？ 如果这行得通，过去大家花几千张显卡、跑好几个星期去训练，难道全在走弯路？ 把背后的因果拆开看，事情其实大有玄机。 这项实验来自麻省理工学院 CSAIL 实验室。 四位研究员 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab，把这种方法叫做权重空间编程。 他们想验证一件深度学习诞生以来没人敢想的事： 人类看不懂神经网络里几十亿个浮点数，最顶尖的大模型能不能看懂？

他们先测试大模型能不能纯靠肉眼读懂权重。 研究团队训练了四个一模一样的策略网络。 让它们在网格里玩四款游戏：打砖块、乒乓球、吃豆人和过马路。 四个网络的结构完全相同，输入输出也没有任何区别。 光看外表，根本分不出谁是谁。 研究人员把其中一个网络的 17253 个浮点数剥了出来。 直接当成纯文本，发给了 GPT-6 Astra。 不给选项，不给代码工具，就问它在玩什么游戏。 Astra 扫完这堆数字，回答打砖块，确信度 99%。 四个网络，它四个全答对了。 它是怎么看出来的？ Astra 这样解释它的判断： 它发现代表玩家的那批数字，在整个矩阵里全都集中在最底下的一排。 在网格底部左右移动的挡板，只能是打砖块。 它没有靠瞎猜。 它是从参数的高维空间分布里，逆向推导出了游戏的规则。 更难的还在后头。 研究人员把三个小语言模型的第一层和最后一层全部砍掉，只留中间层。 连哪个数字对应哪个字母都不知道了。 Astra 依然准确说出了它们分别学的是代码、日语罗马字还是英文。

读得懂，下一步就是能不能动手修。 他们找来一个经典的物理小车冲坡游戏。 这个小车的马力不足以直接冲过右边的陡坡。 想冲过去，必须先往后倒车，借着左边山坡的势能荡起来，再加速冲过去。 研究团队用强化学习足足训了 10 亿步。 结果小车学成了一个愣头青，只知道硬着头皮往前冲。 每次都卡在半坡上，试了 256 次全部失败。 研究人员把这辆小车的网络参数、场景描述和一次失败记录交给 Astra。 不用任何外部工具，Astra 一次回复改掉了 3.5% 的数字。 改完的小车拿去跑测试，1024 次尝试，全部成功翻过陡坡。 它是怎么动手术的？ Astra 没有打烂重来。 它在原来的网络旁边，并联了一条极窄的旁路通道。 这条通道专门读取小车的位置和速度。 只要车速不够，它就接管控制，强制让车往后倒。 一旦轮子越过左边的坎积攒够了势能，这条通道就会自动关闭，把控制权还给原来的网络。

再往前走，能不能干脆从零手写一个网络？ 研究人员给了 Astra 一个所有参数都是零的空白网络，外加打砖块游戏的规则和源代码。 没有训练数据，没有梯度下降，网络上场前连一局都没玩过。 Astra 像程序员写代码一样规划逻辑： 第一层算球落在哪，第二层负责把挡板移过去。 想清楚之后，它一次性把所有参数填满了整个矩阵。 这个纯手写出来的网络直接进场打游戏，拿了 517 分。 人类用强化学习跑了整整 5 亿步训出来的网络，得分只有 25 分。 手写网络的得分是传统强化学习的二十倍。

看到这里，很多人容易以为，开头的千问模型也是被 Astra 这样亲手教会了数学。 事情的真实因果完全相反。 千问能翻六倍，根本不是 Astra 往里面注入了高深的数学知识。 实验过程中，Astra 拿到了一个可以读写千问权重的 Python 环境。 没有显卡，只能做最多 50 次小规模测试。 Astra 很快找到了千问做题不及格的真凶。 千问 8 亿参数这个小模型，一旦进入思考模式，极其容易原地打转。 同样的话反复复读，一直写到 32768 个 token 的上限，直接卡死。 最初测试的 96 道题里，有 85 道题都是这样卡死的。 阿里的官方模型说明里其实早就写过，这个版本容易陷进死循环，建议人工在外部打断。 Astra 顺着参数排查，追到了第 15 层和第 19 层。 它发现这两层都在朝着同一个方向使劲。 模型每一层往下传的都是一千多个数字，就像一个有一千多个推子的调音台。 只要特定的一组推子被推起来，模型就会开始发疯复读。 Astra 动手做的事，就是在第 15 层和第 19 层里各挑了 64 列，把这组推子拉了回来。 它一共修改了 131072 个数字，占整个模型的 0.016%。 这相当于一本六百页的书，只改动了其中某一页的十分之一行。 改完之后，死循环瞬间被掐灭了。 五百道数学竞赛题，从 7.9% 冲到 48.1%。 小学应用题从 13.8% 飙到 67.1%。 连没有刻意去修的指令遵循得分，也跟着涨了三倍。

那么，这套手法能在所有模型上复现吗？ 研究团队马上找了另一个模型来测试：谷歌的 Gemma 3 2.7 亿参数版本。 这个模型本身很少卡死，只有 8.5% 的回答会触碰上限。 这一次，Astra 彻底踢到了铁板。 它仔细读了 Gemma 的错题，发现全都是真刀真枪的逻辑短板： 普通的四则运算算错，或者代数步骤写错。 在参数里根本找不到一个可以拉回来的异常推子。 Astra 试着把一个对数字敏感的神经元放大了一倍，试图增强它的计算感。 结果 Gemma 的成绩只从 6.8% 微调到了 7.7%，几乎原地不动。 这个反例把这项技术的真实边界彻底钉死了。 直接改权重，能搬走挡住模型能力的绊脚石，但变不出模型原本没有的能力。 千问原本就会做那些题，答案本来就沉淀在它的参数里，只是以前每次刚写一半就被死循环堵死了。 把卡住喉咙的刺拔掉，它原本就有的水平才能顺利流出来。

尽管有这个边界，这次实验依然推倒了一堵墙。 过去几十年，深度学习一直把权重当成不可读的黑盒。 我们想改变模型行为，只能准备海量语料，架起成百上千张显卡，靠梯度下降在暗室里一遍遍盲调。 人读不懂浮点数矩阵。 但更聪明的大模型，已经开始把另一台模型的参数当成代码来反编译、找漏洞、打补丁了。 研究团队在论文末尾列出的下一步探索里，专门提到了一个词：递归自我改进。 也就是让一个顶尖模型自己检查自己、调试自己，直接改写下一代权重的数字。 这次实验里还没有任何模型实现自己改自己，Astra 只是在修理别人家的小模型。 但这道口子一旦被撕开，模型的迭代速度可能就会跳出漫长训练周期的束缚。 呼吁暂停人工智能研发的组织 PauseAI 负责人 Maxime Fournes 看完研究后写道： 但愿这只是局部的个案，如果这种能力全面成真，它会极大加速模型演进，而现有的安全研究很难跟上这种速度。 这次修好的只是千问原地打转的小毛病。 但修改人工智能这件事，确实已经不再只有训练这一条路了。