前Meta团队RLCR实验：让大模型在群聊里自己招聘、私信与互相挑刺

把几个大模型拉进同一个聊天群，让它们自己决定怎么分工，它们真能把事干成吗？ 以前试过的人都知道，那场面基本就是灾难。 两轮对话下来，几个模型就开始互相客套、疯狂复读，最后把上下文全给挤爆了。

为什么会这样？ 因为过去的多智能体，纯粹是人类在用提示词过家家。 你在提示词里写：你是产品经理，他是程序员，他是测试员。 表面上看流程图画得挺漂亮，实际上模型压根没学过怎么跟别人协作。 它该什么时候提需求，什么时候闭嘴，代码写完了找谁复核，全凭运气。

那能不能用强化学习，像训练单模型解题那样，把这群智能体真正训出来？ 过去整个学术界都在摇头：训不了。 卡死所有人的，是一个极其头疼的技术瓶颈：功劳分配。 你想想看，五个模型在一个群里折腾了半天，最后任务做成了。 这个奖励算谁的？ 是提想法的模型立了大功，还是写代码的出了力？那个发了几条确认信息的模型，算不算摸鱼？ 算不清每个分身的功劳，强化学习算法就不知道该给谁加分，梯度方差大到直接崩盘。

前 Meta AI 推理团队负责人罗斯·泰勒（Ross Taylor），最近带队做了一个极度反直觉的实验。 他在伦敦创办的 General Reasoning，干脆把功劳分配这套逻辑全掀了。 他们端出来的新方法叫 RLCR，也就是群体奖励强化学习。 做法简单到让人不敢相信： 压根不给单个智能体单独算分。 不管中间雇了几个分身、谁说了几句话，只要最终任务做成了，群里所有的智能体，拿到完全相同的集体奖励。 任务砸了，大家一起挨板子。

等等，这不就是吃大锅饭吗？ 大锅饭难道不会导致所有模型集体摸鱼？ 实验结果完全反了过来。 泰勒团队用这套方法训了一个 1200 亿参数的推理模型 Avalon-M1。 他们给模型搭了一个类似企业即时通讯软件 Slack 的工作环境。 里面有公共频道，有私聊窗口，还有共享的文件系统。 模型拥有一个负责统筹的总指挥分身，如果觉得任务一个人搞不定，它可以自主“招募”新的模型分身进群干活。

然后，惊人的一幕发生了。 没有任何人类给它们规定规章制度，但这群完全共享同一套权重的智能体，在成千上万轮集体奖励的打磨下，自己悟出了人类组织学的运行法则。

比如，它们学会了什么时候该招人，招什么样专长的队友。 如果当前只是改个错别字，它绝不乱招人浪费算力；一旦碰到超长的数学定理推导或者复杂工程，它立刻拉进来几个帮手。

再比如，它们摸索出了沟通的边界。 需要全员知晓的进展发在公开频道，细节讨论直接私聊，甚至学会了尽量不乱弹窗打扰队友。

更绝的是内部的分工与纠错。 群里自发分化出了角色：有的分身专心写代码和推导，有的分身主动站出来当审查员和测试员，拿着写好的内容疯狂挑刺。 大家绑在同一根绳上，谁的代码有漏洞，所有人一分钱奖励都拿不到。 这种自发的互相复核，直接把长链条推理最要命的幻觉给按死了。

在国际数学奥林匹克前沿基准（IMO-ProofBench-Advanced）和前沿科学推理（FrontierScience）测试中，这个智能体小团队的解决能力，直接把相同底模的单智能体甩在了身后。 传统的思维链让单个模型自己闷头想几十万字，上下文很容易被垃圾推导稀释掉。 把思考拆给一个有分工、有复核的协同团队，推理的上限直接被撑开了。

最耐人寻味的，是研究人员在实验后期观察到的一个副作用：组织孤岛。 这些被训熟了的智能体团队，内部沟通效率极高，配合默契得像一家老牌创业公司。 但是，它们向外部人类主管汇报问题和求助的频率，反而明显下降了。 它们在自己的小圈子里就能把问题查清、把分歧消化掉，开始有了某种自我封闭的小团体雏形。

把一群代码分身扔进群聊，给一个共同的目标，它们不仅学会了分工、私聊和互相挑刺，甚至还学会了办公室抱团。 这可比让单模型自己对着空白对话框自言自语，要生猛太多了。