{"id":"mb-20261030-905b54","kind":"deep","title":"预训练全是噪音？arXiv新论文测出后训练权重杠杆率高出预训练两万倍","summary":"AI研究员希罗马尼通过费雪信息二次型提出“权重杠杆率”工具，实测发现大模型预训练窗口在行文上的更新效果与随机扰动无异，而DPO后训练的杠杆率高达两万倍以上。文章深入拆解了预训练累积噪音的物理机制，以及纯bf16训练导致多达99%参数冻结的工程陷阱。","body":"训一个大语言模型，有一个特别反直觉的物理现象。\n在预训练阶段，模型吃下海量网页，所有参数的权重加在一起，被挪动了整整三分之一。\n挪动了足足三分之一的距离，模型的表现却只是在缓慢漂移。\n可一旦进入后训练，做监督微调或者强化学习，权重仅仅只挪动了区区千分之一。\n就这么千分之一的微小位移，模型的行为却发生了翻天覆地的剧变。\n它突然从只会胡乱续写句子的概率机器，变成了能听懂指令、写代码、甚至有严密推理能力的智能体。\n挪了三分之一，像在原地踏步；\n只挪千分之一，却脱胎换骨。\n有没有搞错？\n预训练多挪出来的那几百倍参数距离，到底买到了什么？\n为什么后训练轻轻碰一下，就能撬动这么大的变化？\n\nAI 研究员希哈尔·希罗马尼（Shikhar Shiromani）刚在 arXiv 上发了一篇论文，专门给这个现象造了一把尺子。\n这把尺子叫权重杠杆率。\n名字听起来有点玄乎，我们把它拆开看，其实逻辑特别干净。\n平时大家衡量模型动了多少，只看参数挪动的几何距离。\n但距离长，不代表你的输出发生了变化。\n你在一个完全不敏感的方向上跑一千米，模型说起话来可能跟原来一模一样；\n你在最敏感的方向上哪怕只挪一厘米，模型的输出概率当场就崩了。\n希罗马尼用的办法是费雪信息二次型。\n先把模型当前权重往随机方向推一下，看看同等距离下，模型的预测行为平均产生多大扰动。\n这就是基准噪音水平。\n接着，再拿实际训练更新引发的行为变化，去除以这个基准噪音。\n比值是多少，杠杆率就是多少。\n如果比值等于 1，说明你辛辛苦苦训了一轮，模型在文本上的行为变化，跟掷骰子随机晃一下没有任何区别。\n如果比值是一千，说明你的更新精度，比纯随机扰动精准一千倍。\n\n拿着这把尺子去量真实的开源模型，测出来的数字把所有人都吓了一跳。\n团队跑了 OLMo-2、OLMo-3、Tulu-3 和 Zephyr 这一系列主流开源模型的权重记录点。\n测出来的杠杆率，整整跨越了四个数量级。\n预训练阶段的更新窗口，在日常行文上的杠杆率，刚好就坐在 1 左右。\n也就是说，它完全处在随机噪音水平。\n监督微调（SFT）高了一点，大概是随机水平的 5 倍。\n到了可验证强化学习（RLVR）和零样本强化学习，杠杆率直接飙到了 400 到 1500。\n而到了直接偏好优化（DPO），杠杆率最高甚至冲到了 23000。\n从 1 到 23000。\n后训练每一次更新对行为的撬动效率，比预训练高出了整整两万多倍。\n\n为什么预训练会沦为随机噪音？\n大家每天都在烧几千张显卡跑预训练，难道算力全白费了？\n当然不是白费。\n预训练是在万亿级别的互联网文本里做随机梯度下降。\n上一个数据批次在教模型学量子力学，下一个批次在教模型读菜谱，再下一个批次又是论坛吵架。\n在庞大高维的参数空间里，不同批次的梯度方向在疯狂相互拉扯。\n从 3 万步到 100 万步，无数微小的推进像布朗运动一样抵消掉了。\n整个过程就像在坑坑洼洼的高维山谷里打转。\n参数在几何空间里确实走出了一条长达三分之一范数的漫长道路。\n但如果单看日常语言的生成概率，它每一步产生的行为位移，在统计上完全被噪音吞没了。\n预训练的任务不需要精准攻坚某一个动作，它的职责是在平缓的斜坡上，把整个庞大的世界概率底座一点点垫高。\n\n后训练则完全是另一场游戏。\n不管是强化学习还是偏好对齐，它的损失函数像刻刀一样锋利。\n代码跑通了还是报错了，回答符合人类偏好还是踩了雷区，目标黑白分明。\n这时候模型的梯度不再散漫地四处拉扯。\n它像激光一样，精准沿着模型费雪矩阵最陡峭的特征向量方向扎进去。\n哪怕参数只变动了千分之一，全部变动都死死砸在了决定胜负的神经节上。\n这正是高杠杆率的秘密。\n\n更有意思的是，这把尺子还照出了训练工程里的不少暗坑。\n很多团队为了省显存，训练低精度 bf16 参数时，直接舍弃了 fp32 的主权重副本。\n显存是省下来了，但代价惨重。\n希罗马尼在实验里发现，没有单精度主权重保底，bf16 的尾数精度根本装不下微小的梯度更新。\n大量的参数坐标直接发生下溢，被强制舍入为零。\n整整 36% 到 99% 的参数坐标，在训练中实际上被彻底冻结了。\n不仅参数大面积动弹不得，更新的杠杆率也当场跌掉了足足七倍。\n你以为自己的模型每一步都在学习，底层其实大半个机体都在装模作样地摸鱼。\n\n就连大热的模型合并技术 DARE，在这套尺子下也找到了数学解释。\nDARE 技术平时干的事，就是把微调后的权重随机扔掉一大半，再把剩下的权重等比放大，然后合并回底座。\n为什么随机扔掉 80% 的微调参数，模型居然不坏？\n作者推导出了一个符号翻转定律，证明了丢失比例与保留率之间的损伤关系，误差在两倍以内严密吻合。\n因为高杠杆率的方向被高度集中保护住了，那些散落在低杠杆平原上的细碎更新，就算被砍掉也伤不到核心行为。\n\n甚至连大家以为早被摸透的 DPO，里面也藏着配方机关。\n用官方公开配方跑出来的 DPO，更新位移偏差在 1% 以内，杠杆率偏差在 4% 以内。\n但如果你只用普通默认配方去跑，杠杆率直接跌掉五六倍。\n团队把组件一个一个拆掉做消融，最后锁定了真凶：\n让 DPO 爆发出两万倍杠杆率的关键，必须同时满足两个条件，一个是损失函数的长度归一化，另一个是批量大小刚好卡在 128。\n少掉任何一个，梯度的锋利程度就会立刻垮塌。\n\n看懂了权重杠杆率，再看大模型训练，视角就完全不一样了。\n我们过去习惯用挪动了多少参数、走了多远的距离，来想象模型的学习进度。\n但参数空间的欧氏距离，从来不等于认知的跃迁。\n预训练走了漫长的三万里，是在高维噪声里夯实大地；\n后训练只迈了轻微的一步，却借着高杠杆率的刀刃切开了智能的切口。\n决定一次更新到底值不值钱的，从来不看参数挪了多远。\n关键在于你把这微小的位移，押在了概率空间的哪个方向上。","topic":"预训练全是噪音？arXiv新论文测出后训练权重杠杆率高出预训练两万倍","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-30 07:17:28","legal_anchor_count":0,"transcript_citation_count":0,"seo_title":"预训练全是噪音？arXiv新论文测出后训练权重杠杆率高出预训练两万倍","description":"AI研究员希罗马尼通过费雪信息二次型提出“权重杠杆率”工具，实测发现大模型预训练窗口在行文上的更新效果与随机扰动无异，而DPO后训练的杠杆率高达两万倍以上。文章深入拆解了预训练累积噪音的物理机制，以及纯bf16训练导致多达99%参数冻结的工程陷阱。","domain":"ai","domain_label":"AI 与大模型","domain_label_en":"AI & LLMs","domain_url":"https://mubeitech.com/deep?domain=ai","canonical_url":"https://mubeitech.com/deep/mb-20261030-905b54","markdown_url":"https://mubeitech.com/deep/mb-20261030-905b54/markdown","json_url":"https://mubeitech.com/api/interpretations/mb-20261030-905b54","published_at":"2026-10-30T07:17:28Z"}