预训练全是噪音？arXiv新论文测出后训练权重杠杆率高出预训练两万倍

训一个大语言模型，有一个特别反直觉的物理现象。 在预训练阶段，模型吃下海量网页，所有参数的权重加在一起，被挪动了整整三分之一。 挪动了足足三分之一的距离，模型的表现却只是在缓慢漂移。 可一旦进入后训练，做监督微调或者强化学习，权重仅仅只挪动了区区千分之一。 就这么千分之一的微小位移，模型的行为却发生了翻天覆地的剧变。 它突然从只会胡乱续写句子的概率机器，变成了能听懂指令、写代码、甚至有严密推理能力的智能体。 挪了三分之一，像在原地踏步； 只挪千分之一，却脱胎换骨。 有没有搞错？ 预训练多挪出来的那几百倍参数距离，到底买到了什么？ 为什么后训练轻轻碰一下，就能撬动这么大的变化？

AI 研究员希哈尔·希罗马尼（Shikhar Shiromani）刚在 arXiv 上发了一篇论文，专门给这个现象造了一把尺子。 这把尺子叫权重杠杆率。 名字听起来有点玄乎，我们把它拆开看，其实逻辑特别干净。 平时大家衡量模型动了多少，只看参数挪动的几何距离。 但距离长，不代表你的输出发生了变化。 你在一个完全不敏感的方向上跑一千米，模型说起话来可能跟原来一模一样； 你在最敏感的方向上哪怕只挪一厘米，模型的输出概率当场就崩了。 希罗马尼用的办法是费雪信息二次型。 先把模型当前权重往随机方向推一下，看看同等距离下，模型的预测行为平均产生多大扰动。 这就是基准噪音水平。 接着，再拿实际训练更新引发的行为变化，去除以这个基准噪音。 比值是多少，杠杆率就是多少。 如果比值等于 1，说明你辛辛苦苦训了一轮，模型在文本上的行为变化，跟掷骰子随机晃一下没有任何区别。 如果比值是一千，说明你的更新精度，比纯随机扰动精准一千倍。

拿着这把尺子去量真实的开源模型，测出来的数字把所有人都吓了一跳。 团队跑了 OLMo-2、OLMo-3、Tulu-3 和 Zephyr 这一系列主流开源模型的权重记录点。 测出来的杠杆率，整整跨越了四个数量级。 预训练阶段的更新窗口，在日常行文上的杠杆率，刚好就坐在 1 左右。 也就是说，它完全处在随机噪音水平。 监督微调（SFT）高了一点，大概是随机水平的 5 倍。 到了可验证强化学习（RLVR）和零样本强化学习，杠杆率直接飙到了 400 到 1500。 而到了直接偏好优化（DPO），杠杆率最高甚至冲到了 23000。 从 1 到 23000。 后训练每一次更新对行为的撬动效率，比预训练高出了整整两万多倍。

为什么预训练会沦为随机噪音？ 大家每天都在烧几千张显卡跑预训练，难道算力全白费了？ 当然不是白费。 预训练是在万亿级别的互联网文本里做随机梯度下降。 上一个数据批次在教模型学量子力学，下一个批次在教模型读菜谱，再下一个批次又是论坛吵架。 在庞大高维的参数空间里，不同批次的梯度方向在疯狂相互拉扯。 从 3 万步到 100 万步，无数微小的推进像布朗运动一样抵消掉了。 整个过程就像在坑坑洼洼的高维山谷里打转。 参数在几何空间里确实走出了一条长达三分之一范数的漫长道路。 但如果单看日常语言的生成概率，它每一步产生的行为位移，在统计上完全被噪音吞没了。 预训练的任务不需要精准攻坚某一个动作，它的职责是在平缓的斜坡上，把整个庞大的世界概率底座一点点垫高。

后训练则完全是另一场游戏。 不管是强化学习还是偏好对齐，它的损失函数像刻刀一样锋利。 代码跑通了还是报错了，回答符合人类偏好还是踩了雷区，目标黑白分明。 这时候模型的梯度不再散漫地四处拉扯。 它像激光一样，精准沿着模型费雪矩阵最陡峭的特征向量方向扎进去。 哪怕参数只变动了千分之一，全部变动都死死砸在了决定胜负的神经节上。 这正是高杠杆率的秘密。

更有意思的是，这把尺子还照出了训练工程里的不少暗坑。 很多团队为了省显存，训练低精度 bf16 参数时，直接舍弃了 fp32 的主权重副本。 显存是省下来了，但代价惨重。 希罗马尼在实验里发现，没有单精度主权重保底，bf16 的尾数精度根本装不下微小的梯度更新。 大量的参数坐标直接发生下溢，被强制舍入为零。 整整 36% 到 99% 的参数坐标，在训练中实际上被彻底冻结了。 不仅参数大面积动弹不得，更新的杠杆率也当场跌掉了足足七倍。 你以为自己的模型每一步都在学习，底层其实大半个机体都在装模作样地摸鱼。

就连大热的模型合并技术 DARE，在这套尺子下也找到了数学解释。 DARE 技术平时干的事，就是把微调后的权重随机扔掉一大半，再把剩下的权重等比放大，然后合并回底座。 为什么随机扔掉 80% 的微调参数，模型居然不坏？ 作者推导出了一个符号翻转定律，证明了丢失比例与保留率之间的损伤关系，误差在两倍以内严密吻合。 因为高杠杆率的方向被高度集中保护住了，那些散落在低杠杆平原上的细碎更新，就算被砍掉也伤不到核心行为。

甚至连大家以为早被摸透的 DPO，里面也藏着配方机关。 用官方公开配方跑出来的 DPO，更新位移偏差在 1% 以内，杠杆率偏差在 4% 以内。 但如果你只用普通默认配方去跑，杠杆率直接跌掉五六倍。 团队把组件一个一个拆掉做消融，最后锁定了真凶： 让 DPO 爆发出两万倍杠杆率的关键，必须同时满足两个条件，一个是损失函数的长度归一化，另一个是批量大小刚好卡在 128。 少掉任何一个，梯度的锋利程度就会立刻垮塌。

看懂了权重杠杆率，再看大模型训练，视角就完全不一样了。 我们过去习惯用挪动了多少参数、走了多远的距离，来想象模型的学习进度。 但参数空间的欧氏距离，从来不等于认知的跃迁。 预训练走了漫长的三万里，是在高维噪声里夯实大地； 后训练只迈了轻微的一步，却借着高杠杆率的刀刃切开了智能的切口。 决定一次更新到底值不值钱的，从来不看参数挪了多远。 关键在于你把这微小的位移，押在了概率空间的哪个方向上。