强化学习没有教会大模型新思维：伯克利实测揭示AI推理的策略收拢与代价

强化学习到底有没有教会大模型新的推理能力？ 答案可能挺让人意外：没有。 新招数一个没学到，它脑子里的解题思路反而缩水了 18%。

加州大学伯克利分校的成子恒（Ziheng Cheng）和团队，最近做了一组非常硬核的实测。 他们对比了开源模型 Qwen3-14B 在做强化学习前后的全部解题痕迹。 结果发现，经过海量数学题的强化训练后，模型能想出来的不同解题路线，平均每题从 3.24 种直接跌到了 2.66 种。 它的解题思路明显变窄了。

这就出现了一个让人摸不着头脑的怪事。 如果解题思路变少了，为什么现在的推理模型分数还在往上飙？ 伯克利团队把大模型的解题拆成了两步： 第一步是选策略，决定从哪条路切入题目； 第二步是按选好的策略往下执行算式和代码。

在预训练阶段，模型读遍了全世界的语料。 各种冷门的、精妙的、笨拙的解法，其实早就睡在它的参数里了。 原始的基座模型就像一个懂十种解法但注意力涣散的学生。 每次解题，它都在随机抽路线。 抽到了好策略，中间算错了；抽到了笨方法，在死胡同里绕圈子。

这时候强化学习进场了。 算法不教新数学，它只认最终答案对不对。 只要某一种规范的解题套路更容易撞出正确答案，系统就会疯狂给它加权重。 几万轮刷下来，那些好用、好算、成功率高的主流套路被无限强化。 至于那些冷门的、拐弯抹角的奇思妙想，因为概率被抽干，慢慢就被模型锁进了冷宫。 强化学习没有开辟新领地，它只是给模型原本就有的解法重新分发了权重。

思路变窄了，是好事还是坏事？ 实验数据给出了一个戏剧性的分水岭。 在空间规划测试集 BoxNet 上，题目要求在一个复杂的网格里打包摆放箱子。 原始的基座模型单次尝试成功率 Pass@1 只有 3.8%。 就算给它 1024 次机会漫无目的地瞎蒙，全解出的比例 Pass@1024 也只有 34%。 强化学习一上，奇迹发生了。 模型的单次成功率升到了 9.9%，给 1024 次机会的解题覆盖率直接飙到了 51%。 策略虽然少了 18%，能解决的问题却多了近一半。 为什么？ 因为面对极度困难的问题，胡思乱想毫无用处。 把两三种管用的基础逻辑练到炉火纯青，足以救活一大批过去瞎蒙也做不对的硬骨头。

但反转马上就来了。 换到高难度的数学竞赛 AIME 2024 上，剧本彻底变了。 模型的单次答题准确率确实在涨。 可是当你给模型 1024 次采样预算时，强化学习后的覆盖率竟然比没训练过的基座模型还要低。 基座模型虽然散漫，但它的策略库是完整的。 抽上 1024 次，总有几次能撞见那道难题唯一的偏门解法。 经历过强化学习的模型已经习惯了路径依赖。 它认准了前两招，即使给它 1024 次机会，它也只是把同一套走不通的招数重复算了一千遍。

看到这里，强化学习的底细就很清楚了。 它用思维多样性的代价，换来了单兵作战的极高纪律性。 当题目可以用主流解法硬啃下来时，模型表现得所向披靡。 一旦遇到必须跳出常规套路才能解开的冷门难题，再多的算力和采样也补不回被它亲手掐灭的灵感。