GRPO底层暗门曝光：为什么强化学习会把大模型训成蒙题赌徒？

做四选一的选择题，哪怕完全不会做，闭着眼睛瞎蒙，也有 25% 的概率猜中。 但在当前最主流的推理大模型训练算法里，这个靠运气蒙对的答案，拿到的梯度奖励居然是正常推理的近四倍。 你以为大模型在强化学习里疯狂顿悟，学会了逻辑推导。 底层那台被无数实验室标配的强化学习机器，却在给纯粹的猜题发巨额奖金。

这台机器的名字叫 GRPO。 自 DeepSeek-R1 爆火以来，这套群组相对策略优化算法成了全球训练大模型推理能力的标准配置。 过去用 PPO 训练模型，必须专门部署一个庞大的价值网络充当裁判。 裁判要对模型的每一步表现打分，显存开销极大，算力消耗沉重。 GRPO 做了一个很大胆的减法：把整个价值网络砍掉。 没有裁判怎么判断好坏？ 它让模型对着同一个问题，一口气生成 16 条不同的解题路径。 做对的打正 1 分，做错的打负 1 分。 然后在这一组 16 条回答内部做标准化，算出每条路径的相对优势。

问题就出在这道标准化的数学算式里。 当评判标准只有非黑即白的对与错，GRPO 算出来的单条样本梯度权重，会坍缩成一个极简的纯算术式： 单个正确样本分到的学习权重，等于组内错误数量除以正确数量的开平方根。 也就是错误数除以正确数，再套上一个根号。

看懂这个式子，就会发现一个致命的漏洞。 如果 16 条路径里，有 8 条算对了，8 条算错了，两边对半开。 8 除以 8 开根号，这 8 条正确路径拿到的权重都是 1。 但是，如果遇到一道极难的题呢？ 模型生成的 16 条路径里，有 15 条全算错了，只有独独 1 条碰巧对上了。 把数字代进公式： 分子是 15，分母是 1。 15 除以 1 开根号，结果是 3.87。 这唯独一条正确路径分到的权重，瞬间被暴击放大了将近四倍。

算法设计者的初衷很美好。 一道大家都做不对的硬骨头，16 次尝试里只有 1 次成功，说明这个解法极度罕见。 在开卷数学题里，这确实可能是思维链里难得的一道灵光，算法理应给它最高额的奖励。 但负责打分的验证器，是一个只看结果的黑盒。 它只比对最后一行的终结答案。 模型经过严密计算得出正确结论，它给正 1 分。 模型在草稿纸上胡言乱语，最后随手蒙了一个选项碰巧撞中，它同样给正 1 分。 算法只认终点，完全不管你是怎么跑过来的。

当解题空间无限大时，这个盲区还不至于致命。 如果一道题的答案是一个五位小数，闭眼蒙中的概率趋近于零，算对基本等于想通了。 然而真实世界的大量任务，候选答案极其有限。 四选一的单选题，盲猜的基准命中率就有整整四分之一。 16 条解题路径里，哪怕模型压根没有思考能力，纯靠抛硬币，理论上也该期望蒙中 4 条。 一旦一道题难到了模型的知识盲区，前 15 条推理全部崩溃，只有第 16 条在彻底放弃思考后，随手乱写了一个选项。 错误数是 15，正确数是 1。 GRPO 的公式立刻将它判定为绝顶聪明的罕见顿悟。 3.87 倍的超大梯度，毫不讲理地砸在这一次毫无逻辑的瞎猜上。 模型在这一轮反向传播里接收到的指令，被严重带偏了。 它学到的是：只要在最后关头大胆乱猜，就能拿到天价奖励。

全换成自由解答的数学题，就能躲开这个暗门吗？ 根本躲不掉。 由 Jiamian Wang、Koustava Goswami 等学者近期公开的研究论文，直接给出了确凿的数据。 他们统计了全球通用的开源数学题库 MATH-7.5K。 这套常被当作开放式推理标准的数据集里，居然有 55.95% 的题目，答案实质上是封闭的。 答案只有 0 和 1，或者是极小的整数，固定的分类名词。 如果在整套题库里不写任何推理步骤，逢题就蒙一个数字 2，能直接拿到 2.69% 的准确率。 如果从最高频的前十个候选词里随手挑一个填上去，命中率能直接冲到 20.6%。 在最简单的一级题目里，这类有限候选答案的题目比例更是高达 69.2%。 在模型刚开始学习、最需要建立逻辑纪律的初级阶段，超过三分之二的训练样本都在无休止地向它注入这笔虚假优势。

多轮搜索智能体同样没有逃过这套机制的惩罚。 给搜索模型分配四次调用搜索引擎的额度。 有的路径经过四次严密检索找到了真相； 有的路径在中间迷航三次，搜了一堆毫无意义的废话，最后误打误撞抓到了关键词。 因为只看最终答案是否匹配，那个经历了三次无效检索的混乱路径，在稀缺正确的掩护下，同样吃到了膨胀的优势权重。 模型没有学会精准检索，反而习惯了浪费算力、四处乱撞。

这篇论文把这个被长期忽视的系统性偏差，命名为虚假优势（Spurious Advantage）。 怎么解决这个深植在公式里的暗门？ 他们开出的药方叫 SignBalance。 改造的方式非常克制： 直接切断单个样本权重与组内对错数量的绑定。 既然区分不出正确到底是来自推导还是来自侥幸，就不在单条路径上根据稀缺度胡乱加戏。 正确给正号，错误给负号，样本的基础权重彻底拉平。 为了维持批次梯度的物理平衡，它在批次层面通过一个阻断梯度的类间缩放，强制让正负两端的总拉力保持对称。 不需要额外的神经网络，不增加推理显存，改动仅仅发生在损失函数的权重分配上。

改完之后的结果非常惊人。 在以选择题为主的 SAT 数学评测中，模型的得分直接从 65.62 飙升到 71.88，净涨 6.26 个百分点； 在 AQuA 评测中暴涨 5.90 分； 在复杂的多跳搜索任务 2WikiMultiHopQA 上，得分直接拉升 7.62 个百分点。 而在原本开放的数学基准上，推理性能完全没有受到任何损害。

强化学习最让人着迷的地方，在于人们总期待它能在没有人类干预的环境下，自发涌现出推理的火花。 但当奖励函数只看最终结果，底层的优势公式又盲目将小概率的巧合当成顿悟， 这套精密的数学机器，就会以最高的计算效率，将模型训练成一个深谙概率赔率的投机客。 当一个大模型在屏幕上生成洋洋洒洒的上千字思维链， 它是在严密推导，还是在按算法预设的暴击赔率，精心迎合那次蒙对的运气？