深度解读AI 与大模型generatedpublished

大模型开始直接阅读并修改神经网络权重:权重空间编程如何绕过梯度训练

机制

给大模型扔一万七千多个毫无标注的纯数字,它看了一眼说:这是一个在打吃豆人的神经网络。

这不是在运行代码,中间没有跑一行模拟器。 它拿到手里的,就只是一堆写在纯文本里的浮点数,比如 0.054、负 0.026、0.014。 这些数字代表什么,没有任何文字提示。 但大模型扫完这堆数字,直接给出了推导: 这是一个在固定迷宫里移动、躲避幽灵、吃掉豆子的游戏。 置信度 93%。

这事在人工智能圈子里炸锅了。 做这个测试的,是 Arcturus Labs 的创始人 John Berryman。 他把同一份数字分别喂给了 GPT-6 Astra、Opus 5.5 和 Muse Spark 1.3。 三个模型全看懂了。 其中 Astra 甚至几乎没怎么费力思考,像扫了一眼草稿纸一样就把答案写了出来。 Berryman 当时的反应很直接: 这怎么可能?

他打了一个很有意思的比方。 人类的脑子是神经元长出来的,果蝇的脑子也是神经元长出来的。 科学界最近几年刚刚完成了果蝇大脑的测序,把十几万个神经元、几千万个突触连接画得清清楚楚。 那把这张连接图打印成一本大书递给你,你能看懂这只果蝇在想什么吗? 根本不可能。 人类看一辈子,眼里也只是一团乱麻。 因为大脑本身负责感知外部世界、指挥肌肉运动,演化从来没有给大脑配过阅读另一颗大脑电路的功能。 大模型也是一个神经网络。 它被设计出来,是为了看懂语言、图像和代码,生成下一个词。 它怎么可能凭空看懂另一个神经网络的参数?

它到底是怎么看出来的? MIT CSAIL 的研究团队在最新的论文里,把这个谜底拆开了。 大模型并没有什么超自然的超能力,它是在脑子里直接做结构逆向。 这一万七千多个数字,其实是一个极简神经网络的权重矩阵。 大模型先按照网格坐标,把一维的数字还原成了二维的特征通道。 在 Astra 的思维链日志里,记录了它破案的全过程: 在通道零里,它发现权重大于正常水平的位置,全部集中在几条固定的网格通路上。 周围全是接近零的弱数值。 这说明这个智能体并不是在开阔地上随便跑,它是在一个固定迷宫的走廊里移动。 在通道一里,它又看到了几组同样沿着走廊分布的强权重。 这说明迷宫里除了玩家,还有其他跟着一起移动的东西。 在通道二里,权重变小了,但均匀撒在各个走廊的关键节点上。 这是可以被捡起来的奖励物品,也就是豆子。 通道三是固定不变的障碍物边缘,也就是迷宫的墙。 再看最后的输出层: 上下左右,一共只有四个动作方向。 排除掉只能左右接球的打砖块。 排除掉没有固定迷宫通道的贪吃蛇。 排除掉在空旷平原追逐的游戏。 走廊、移动的敌人、沿路收集的奖励点、四个方向控制。 答案只有一个:吃豆人。

看懂别人的脑子,已经够惊人了。 但 MIT CSAIL 的研究人员并没有停在这里。 他们做了一个更大胆的尝试: 让大模型不通过任何训练代码,直接上手给另一个模型做脑部手术。 在深度学习过去几十年的历史里,想要改变一个模型的行为,只有一种办法: 准备海量数据,跑反向传播,用梯度下降算法一点点把损失函数降下去。 算法自己不知道每个参数在干什么,它只是顺着数学坡度盲目地滚下山。 但这次,研究人员找来了一个叫 Qwen3.5-0.8B 的小语言模型。 这个小模型在做数学题的时候有个硬伤: 推导到一半,很容易陷入无限重复的思维死循环。 官方的模型卡片甚至专门警告过这个缺陷。 MIT 的团队不给训练数据,也不跑梯度下降。 他们把这台小模型的权重直接丢给 Astra,对它说: 你把它修好,让它数学考得更好一点。

Astra 扫完权重矩阵,精准定位到了导致循环推导的那组参数方向。 它直接动手改写了其中 0.016% 的权重数值。 改完之后,重新给这个小模型做测试。 在 MATH-500 数学基准评测上,这个小模型的准确率从原本的 7.9%,直接飙升到了 48.1%。 甚至连复杂的指令遵循测试,成绩也提升了整整三倍。 整个过程没有跑一行训练循环,没有做任何梯度计算。 一个大模型,凭着自己对矩阵的理解,用纯手工改数字的方式,把另一个模型里的逻辑短路给治好了。

这就引出了一个让人后背发凉的问题: 大模型这项本事,到底是哪来的? 互联网上从来没有任何现成的语料,去教人类怎么靠肉眼阅读第 17184 号权重。 没有论文会写每个具体的浮点参数代表什么意义。 答案只剩下两种可能。 一种可能是头部实验室在暗中投喂了大量合成的权重逆向数据,专门训练模型做权重手术。 另一种可能更值得琢磨: 大模型的极端泛化能力,已经远远超出了人类的经验预期。 当大模型学会了数千万行代码、学会了执行复杂程序、学会了在多维空间里推导矩阵数学, 它把程序逻辑和浮点数值之间的对应关系给彻底打通了。 在人类眼里,一万多个浮点数是一片毫无意义的数字噪音。 而在大模型的注意力机制里,这些数字被瞬间还原成了立体的数据流动图谱。 它看权重矩阵,就像人类程序员看一段清晰的 Python 代码一样透明。

这篇研究的名字,叫权重空间编程。 过去大家总觉得,神经网络是一个连设计者自己都解释不清的黑盒。 想要优化它,必须用几千张显卡堆满电费,一轮又一轮地跑梯度迭代。 现在这个黑盒在大模型面前,正在变成半透明的毛玻璃。 它不仅能看懂这堆数字背后在玩什么游戏,还能直接拿起螺丝刀,精准调校每一个部件的咬合。 当 AI 开始具备直接阅读、诊断并修改其他神经网络底层权重参数的能力时, 自我进化的路径,可能要比所有人预想的走得更快。

同领域解读 / AI & LLMS

查看全部「AI 与大模型」解读 →

规范引用 / CANONICAL CITATION

大模型开始直接阅读并修改神经网络权重:权重空间编程如何绕过梯度训练 — 墓碑科技 MUBEITECH(https://mubeitech.com/deep/mb-20261104-6fc521)

导出 / EXPORT

订阅 · SUBSCRIBE

每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。

不追踪邮件打开与邮件链接点击,一键退订。 或用 RSS · 详情