{"id":"mb-20261027-8876ab","kind":"deep","title":"强化学习没有教会大模型新思维：伯克利实测揭示AI推理的策略收拢与代价","summary":"加州大学伯克利分校最新实测显示，强化学习并未赋予大模型全新的推理能力，主要机制在于强化高频套路、重构既有策略的注意力权重。在Qwen3-14B上，强化学习使解题策略多样性下降18%，却在网格规划任务中大幅提升了求解率，同时在复杂数学竞赛中因路径依赖导致冷门解法被压制。","body":"强化学习到底有没有教会大模型新的推理能力？\n答案可能挺让人意外：没有。\n新招数一个没学到，它脑子里的解题思路反而缩水了 18%。\n\n加州大学伯克利分校的成子恒（Ziheng Cheng）和团队，最近做了一组非常硬核的实测。\n他们对比了开源模型 Qwen3-14B 在做强化学习前后的全部解题痕迹。\n结果发现，经过海量数学题的强化训练后，模型能想出来的不同解题路线，平均每题从 3.24 种直接跌到了 2.66 种。\n它的解题思路明显变窄了。\n\n这就出现了一个让人摸不着头脑的怪事。\n如果解题思路变少了，为什么现在的推理模型分数还在往上飙？\n伯克利团队把大模型的解题拆成了两步：\n第一步是选策略，决定从哪条路切入题目；\n第二步是按选好的策略往下执行算式和代码。\n\n在预训练阶段，模型读遍了全世界的语料。\n各种冷门的、精妙的、笨拙的解法，其实早就睡在它的参数里了。\n原始的基座模型就像一个懂十种解法但注意力涣散的学生。\n每次解题，它都在随机抽路线。\n抽到了好策略，中间算错了；抽到了笨方法，在死胡同里绕圈子。\n\n这时候强化学习进场了。\n算法不教新数学，它只认最终答案对不对。\n只要某一种规范的解题套路更容易撞出正确答案，系统就会疯狂给它加权重。\n几万轮刷下来，那些好用、好算、成功率高的主流套路被无限强化。\n至于那些冷门的、拐弯抹角的奇思妙想，因为概率被抽干，慢慢就被模型锁进了冷宫。\n强化学习没有开辟新领地，它只是给模型原本就有的解法重新分发了权重。\n\n思路变窄了，是好事还是坏事？\n实验数据给出了一个戏剧性的分水岭。\n在空间规划测试集 BoxNet 上，题目要求在一个复杂的网格里打包摆放箱子。\n原始的基座模型单次尝试成功率 Pass@1 只有 3.8%。\n就算给它 1024 次机会漫无目的地瞎蒙，全解出的比例 Pass@1024 也只有 34%。\n强化学习一上，奇迹发生了。\n模型的单次成功率升到了 9.9%，给 1024 次机会的解题覆盖率直接飙到了 51%。\n策略虽然少了 18%，能解决的问题却多了近一半。\n为什么？\n因为面对极度困难的问题，胡思乱想毫无用处。\n把两三种管用的基础逻辑练到炉火纯青，足以救活一大批过去瞎蒙也做不对的硬骨头。\n\n但反转马上就来了。\n换到高难度的数学竞赛 AIME 2024 上，剧本彻底变了。\n模型的单次答题准确率确实在涨。\n可是当你给模型 1024 次采样预算时，强化学习后的覆盖率竟然比没训练过的基座模型还要低。\n基座模型虽然散漫，但它的策略库是完整的。\n抽上 1024 次，总有几次能撞见那道难题唯一的偏门解法。\n经历过强化学习的模型已经习惯了路径依赖。\n它认准了前两招，即使给它 1024 次机会，它也只是把同一套走不通的招数重复算了一千遍。\n\n看到这里，强化学习的底细就很清楚了。\n它用思维多样性的代价，换来了单兵作战的极高纪律性。\n当题目可以用主流解法硬啃下来时，模型表现得所向披靡。\n一旦遇到必须跳出常规套路才能解开的冷门难题，再多的算力和采样也补不回被它亲手掐灭的灵感。","topic":"强化学习没有教会大模型新思维：伯克利实测揭示AI推理的策略收拢与代价","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-27 21:28:00","legal_anchor_count":0,"transcript_citation_count":0,"seo_title":"强化学习没有教会大模型新思维：伯克利实测揭示AI推理的策略收拢与代价","description":"加州大学伯克利分校最新实测显示，强化学习并未赋予大模型全新的推理能力，主要机制在于强化高频套路、重构既有策略的注意力权重。在Qwen3-14B上，强化学习使解题策略多样性下降18%，却在网格规划任务中大幅提升了求解率，同时在复杂数学竞赛中因路径依赖导致冷门解法被压制。","domain":"ai","domain_label":"AI 与大模型","domain_label_en":"AI & LLMs","domain_url":"https://mubeitech.com/deep?domain=ai","canonical_url":"https://mubeitech.com/deep/mb-20261027-8876ab","markdown_url":"https://mubeitech.com/deep/mb-20261027-8876ab/markdown","json_url":"https://mubeitech.com/api/interpretations/mb-20261027-8876ab","published_at":"2026-10-27T21:28:00Z"}