{"id":"mb-20261103-962fee","kind":"deep","title":"不训练直接改权重让数学成绩翻六倍？MIT权重空间编程的因果真相与能力边界","summary":"MIT CSAIL 团队通过 GPT-6 Astra 直接读写神经网络权重，让千问 0.8B 的数学成绩从 7.9% 飙升至 48.1%。本文深入拆解大模型如何通过逆向几何分布识别游戏、并联旁路通路修复物理小车、定位消除第 15 和 19 层的死循环向量，以及为何该技术在谷歌 Gemma 上失效的底层因果机制。","body":"阿里有个八亿参数的开源小模型，拿五百道数学竞赛题去考它，正确率只有 7.9%。\n换句话说，基本全军覆没。\n接着有人把这个模型底层的全部数字导了出来，交给更聪明的模型，提了一个要求：\n不许重新训练，直接动手改里面的参数，让它把数学做对。\n结果对方在八亿个数字里只挑了十三万个改掉，改动比例只有万分之一点六。\n拿去重新考试，正确率直接飙到了 48.1%。\n足足翻了六倍。\n\n改几个数字就能让成绩翻六倍？\n如果这行得通，过去大家花几千张显卡、跑好几个星期去训练，难道全在走弯路？\n把背后的因果拆开看，事情其实大有玄机。\n这项实验来自麻省理工学院 CSAIL 实验室。\n四位研究员 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab，把这种方法叫做权重空间编程。\n他们想验证一件深度学习诞生以来没人敢想的事：\n人类看不懂神经网络里几十亿个浮点数，最顶尖的大模型能不能看懂？\n\n他们先测试大模型能不能纯靠肉眼读懂权重。\n研究团队训练了四个一模一样的策略网络。\n让它们在网格里玩四款游戏：打砖块、乒乓球、吃豆人和过马路。\n四个网络的结构完全相同，输入输出也没有任何区别。\n光看外表，根本分不出谁是谁。\n研究人员把其中一个网络的 17253 个浮点数剥了出来。\n直接当成纯文本，发给了 GPT-6 Astra。\n不给选项，不给代码工具，就问它在玩什么游戏。\nAstra 扫完这堆数字，回答打砖块，确信度 99%。\n四个网络，它四个全答对了。\n它是怎么看出来的？\nAstra 这样解释它的判断：\n它发现代表玩家的那批数字，在整个矩阵里全都集中在最底下的一排。\n在网格底部左右移动的挡板，只能是打砖块。\n它没有靠瞎猜。\n它是从参数的高维空间分布里，逆向推导出了游戏的规则。\n更难的还在后头。\n研究人员把三个小语言模型的第一层和最后一层全部砍掉，只留中间层。\n连哪个数字对应哪个字母都不知道了。\nAstra 依然准确说出了它们分别学的是代码、日语罗马字还是英文。\n\n读得懂，下一步就是能不能动手修。\n他们找来一个经典的物理小车冲坡游戏。\n这个小车的马力不足以直接冲过右边的陡坡。\n想冲过去，必须先往后倒车，借着左边山坡的势能荡起来，再加速冲过去。\n研究团队用强化学习足足训了 10 亿步。\n结果小车学成了一个愣头青，只知道硬着头皮往前冲。\n每次都卡在半坡上，试了 256 次全部失败。\n研究人员把这辆小车的网络参数、场景描述和一次失败记录交给 Astra。\n不用任何外部工具，Astra 一次回复改掉了 3.5% 的数字。\n改完的小车拿去跑测试，1024 次尝试，全部成功翻过陡坡。\n它是怎么动手术的？\nAstra 没有打烂重来。\n它在原来的网络旁边，并联了一条极窄的旁路通道。\n这条通道专门读取小车的位置和速度。\n只要车速不够，它就接管控制，强制让车往后倒。\n一旦轮子越过左边的坎积攒够了势能，这条通道就会自动关闭，把控制权还给原来的网络。\n\n再往前走，能不能干脆从零手写一个网络？\n研究人员给了 Astra 一个所有参数都是零的空白网络，外加打砖块游戏的规则和源代码。\n没有训练数据，没有梯度下降，网络上场前连一局都没玩过。\nAstra 像程序员写代码一样规划逻辑：\n第一层算球落在哪，第二层负责把挡板移过去。\n想清楚之后，它一次性把所有参数填满了整个矩阵。\n这个纯手写出来的网络直接进场打游戏，拿了 517 分。\n人类用强化学习跑了整整 5 亿步训出来的网络，得分只有 25 分。\n手写网络的得分是传统强化学习的二十倍。\n\n看到这里，很多人容易以为，开头的千问模型也是被 Astra 这样亲手教会了数学。\n事情的真实因果完全相反。\n千问能翻六倍，根本不是 Astra 往里面注入了高深的数学知识。\n实验过程中，Astra 拿到了一个可以读写千问权重的 Python 环境。\n没有显卡，只能做最多 50 次小规模测试。\nAstra 很快找到了千问做题不及格的真凶。\n千问 8 亿参数这个小模型，一旦进入思考模式，极其容易原地打转。\n同样的话反复复读，一直写到 32768 个 token 的上限，直接卡死。\n最初测试的 96 道题里，有 85 道题都是这样卡死的。\n阿里的官方模型说明里其实早就写过，这个版本容易陷进死循环，建议人工在外部打断。\nAstra 顺着参数排查，追到了第 15 层和第 19 层。\n它发现这两层都在朝着同一个方向使劲。\n模型每一层往下传的都是一千多个数字，就像一个有一千多个推子的调音台。\n只要特定的一组推子被推起来，模型就会开始发疯复读。\nAstra 动手做的事，就是在第 15 层和第 19 层里各挑了 64 列，把这组推子拉了回来。\n它一共修改了 131072 个数字，占整个模型的 0.016%。\n这相当于一本六百页的书，只改动了其中某一页的十分之一行。\n改完之后，死循环瞬间被掐灭了。\n五百道数学竞赛题，从 7.9% 冲到 48.1%。\n小学应用题从 13.8% 飙到 67.1%。\n连没有刻意去修的指令遵循得分，也跟着涨了三倍。\n\n那么，这套手法能在所有模型上复现吗？\n研究团队马上找了另一个模型来测试：谷歌的 Gemma 3 2.7 亿参数版本。\n这个模型本身很少卡死，只有 8.5% 的回答会触碰上限。\n这一次，Astra 彻底踢到了铁板。\n它仔细读了 Gemma 的错题，发现全都是真刀真枪的逻辑短板：\n普通的四则运算算错，或者代数步骤写错。\n在参数里根本找不到一个可以拉回来的异常推子。\nAstra 试着把一个对数字敏感的神经元放大了一倍，试图增强它的计算感。\n结果 Gemma 的成绩只从 6.8% 微调到了 7.7%，几乎原地不动。\n这个反例把这项技术的真实边界彻底钉死了。\n直接改权重，能搬走挡住模型能力的绊脚石，但变不出模型原本没有的能力。\n千问原本就会做那些题，答案本来就沉淀在它的参数里，只是以前每次刚写一半就被死循环堵死了。\n把卡住喉咙的刺拔掉，它原本就有的水平才能顺利流出来。\n\n尽管有这个边界，这次实验依然推倒了一堵墙。\n过去几十年，深度学习一直把权重当成不可读的黑盒。\n我们想改变模型行为，只能准备海量语料，架起成百上千张显卡，靠梯度下降在暗室里一遍遍盲调。\n人读不懂浮点数矩阵。\n但更聪明的大模型，已经开始把另一台模型的参数当成代码来反编译、找漏洞、打补丁了。\n研究团队在论文末尾列出的下一步探索里，专门提到了一个词：递归自我改进。\n也就是让一个顶尖模型自己检查自己、调试自己，直接改写下一代权重的数字。\n这次实验里还没有任何模型实现自己改自己，Astra 只是在修理别人家的小模型。\n但这道口子一旦被撕开，模型的迭代速度可能就会跳出漫长训练周期的束缚。\n呼吁暂停人工智能研发的组织 PauseAI 负责人 Maxime Fournes 看完研究后写道：\n但愿这只是局部的个案，如果这种能力全面成真，它会极大加速模型演进，而现有的安全研究很难跟上这种速度。\n这次修好的只是千问原地打转的小毛病。\n但修改人工智能这件事，确实已经不再只有训练这一条路了。","topic":"不训练直接改权重让数学成绩翻六倍？MIT权重空间编程的因果真相与能力边界","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-11-03 21:29:34","legal_anchor_count":0,"transcript_citation_count":0,"seo_title":"不训练直接改权重让数学成绩翻六倍？MIT权重空间编程的因果真相与能力边界","description":"MIT CSAIL 团队通过 GPT-6 Astra 直接读写神经网络权重，让千问 0.8B 的数学成绩从 7.9% 飙升至 48.1%。本文深入拆解大模型如何通过逆向几何分布识别游戏、并联旁路通路修复物理小车、定位消除第 15 和 19 层的死循环向量，以及为何该技术在谷歌 Gemma 上失效的底层因果机…","domain":"ai","domain_label":"AI 与大模型","domain_label_en":"AI & LLMs","domain_url":"https://mubeitech.com/deep?domain=ai","canonical_url":"https://mubeitech.com/deep/mb-20261103-962fee","markdown_url":"https://mubeitech.com/deep/mb-20261103-962fee/markdown","json_url":"https://mubeitech.com/api/interpretations/mb-20261103-962fee","published_at":"2026-11-03T21:29:34Z"}