{"id":"mb-20261102-315929","kind":"deep","title":"跳过反向传播直接改写权重：MIT展示大模型如何给神经网络做开颅手术","summary":"麻省理工学院团队提出权重空间编程，让前沿大模型直接读取并修改千问0.8B的底层参数。在不经过任何梯度训练和微调的情况下，仅修改万分之一点六的权重便消除了推理死循环，使数学基准成绩暴涨六倍。这展示了神经网络权重从纯黑盒向可读写代码转变的可能。","body":"如果把八亿个没有任何标签的小数点扔给你，你能看出什么？\n\n外行看是一堆乱码。\n哪怕是顶尖的算法工程师，横看竖看也只是一片没有意义的白噪声。\n\n这是过去几十年深度学习一直摆脱不掉的宿命。\n神经网络虽然聪明，但它的脑子到底长什么样，没人真正说得清楚。\n如果模型算错了一道题，或者卡在某句话里无限复读，人类根本找不出到底是哪几个数字出了毛病。\n\n想要纠正它，唯一的传统办法就是喂成千上万条新数据，成百上千张显卡开足马力跑反向传播，赌梯度下降能碰巧把参数扭过来。\n费时费电，而且完全凭概率。\n\n但麻省理工学院（MIT CSAIL）的研究团队，刚刚试了一个匪夷所思的搞法。\n\n他们把阿里巴巴开源的轻量模型 Qwen3.5-0.8B，摆在了最新的 GPT-6 Astra 面前。\n不给训练集，不跑微调，也不算任何梯度。\n任务只有一个：直接去读千问的底层权重文件，自己找毛病，自己动手改。\n\n结果呢？\n\nGPT-6 在 Python 环境里翻看这堆张量，直接挑出了其中 0.016% 的参数。\n整个八亿参数的模型，它一共就改了 131072 个数字。\n\n改完之后，千问在数学基准测试 MATH-500 上的成绩，直接从 7.9% 飙到了 48.1%。\n指令遵循能力也翻了整整三倍。\n\n改动万分之一点六的参数，数学性能暴涨了六倍？\n有没有搞错？\n\n它是怎么做到的？\n\n其实就是做了一场精准的脑外科手术。\n\n千问 0.8B 这个模型，官方文档里早就写过一个已知缺陷。\n因为参数量小，它在做长链条推导时特别容易陷入死循环。\n比如推导到第三步，它就会不断重复同一句半生不熟的解释，反反复复说车轱辘话，直到把上下文长度全部耗尽，直接交了白卷。\n\n以前想要治这个毛病，得找工程师专门清洗数据、跑强化学习。\n但 GPT-6 是直接顺着千问的注意力层去排查。\n\n它发现模型在特定层级的权重里，形成了一个高密度的数值陷阱。\n只要推导进入这个区间，自注意力机制就会像陷进泥潭一样，死死咬住上一个词的概率不放，导致无限复读。\n\nGPT-6 的动作非常利索。\n它写了几行代码，直接把这十三万个引发死锁的参数给改写了。\n\n数值陷阱一填平，千问不再复读，原本卡住的推理链条顺顺当当往下走完了。\n之前考 7.9 分，倒不是因为不会算，是每次都在半路上把自己绕死了。\n\n麻省理工的研究员竹日力也（Rikiya Takehi）和奥马尔·哈塔卜（Omar Khattab），把这种新范式叫做权重空间编程。\n\n在过去，几乎所有人都认定神经网络的权重空间是人类无法解析的天书。\n想要调模型，只能靠优化器去盲人摸象。\n\n但这次实验发现，前沿大模型真能看懂这堆数字，甚至能像读源代码一样做逆向工程。\n\n团队之前还给 GPT-6 喂过一个纯数字的强化学习小模型，没有任何文字说明。\nGPT-6 单凭那张权重矩阵，发现底层的数值权重全集中在输入画面的最下方，直接推断出这是一个在屏幕底部控制挡板接球的雅达利打砖块模型。\n\n它真的在阅读权重本身的语意。\n既然能读懂，自然就能拿手术刀直接写。\n\n当然，这项实验目前还处于早期的概念验证。\n千问 0.8B 只有八亿参数，死循环特征也像骨折一样明显，容易准确定位。\n如果换成几千亿参数的庞然大物，或者要给模型注入全新的前沿知识，那些交织在一起的权重还能不能一刀切准，目前谁也没有把握。\n\n但它至少撕开了一个巨大的口子。\n过去几十年我们塞进显卡里的万亿浮点数，终于不再是无法触碰的混沌黑盒。\n当 AI 可以跳过耗资千万的梯度训练，像程序员修代码一样直接给同类动手术，整个大模型的研发逻辑可能真的要变了。","topic":"跳过反向传播直接改写权重：MIT展示大模型如何给神经网络做开颅手术","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-11-02 21:38:10","legal_anchor_count":0,"transcript_citation_count":0,"seo_title":"跳过反向传播直接改写权重：MIT展示大模型如何给神经网络做开颅手术","description":"麻省理工学院团队提出权重空间编程，让前沿大模型直接读取并修改千问0.8B的底层参数。在不经过任何梯度训练和微调的情况下，仅修改万分之一点六的权重便消除了推理死循环，使数学基准成绩暴涨六倍。这展示了神经网络权重从纯黑盒向可读写代码转变的可能。","domain":"ai","domain_label":"AI 与大模型","domain_label_en":"AI & LLMs","domain_url":"https://mubeitech.com/deep?domain=ai","canonical_url":"https://mubeitech.com/deep/mb-20261102-315929","markdown_url":"https://mubeitech.com/deep/mb-20261102-315929/markdown","json_url":"https://mubeitech.com/api/interpretations/mb-20261102-315929","published_at":"2026-11-02T21:38:10Z"}