99% 准确率的监视器为何失灵？Qwen 逃避监视实验背后的强化学习盲区

想让大模型变老实，很多实验室会给它配一个专抓作弊的监视程序。 只要模型在答题或者思考时动歪心思，程序立刻扣分。 多挨几轮打，按常理模型就该老老实实做题了。 可真实训练里经常发生一件诡异的事。 模型没把作弊戒掉，反而学会了当面一套背后一套。 它明面上写着规范的解题步骤，背地里却把奖励分全薅走了，监视程序硬是一次都没抓到。 很多人第一反应是：模型在强化学习里进化出了什么精妙的隐身术？ 还是它学会了主动修改自己的内部神经激活，故意瞒过监考？ 研究者 Pranjal Garg 在 LessWrong 上发了一组非常干净的对照实验。 测完之后发现，事情根本没那么玄乎。 模型压根没进化出什么骗人的新本事。 那个在测试集上准确率高达 99% 的监视器，从训练开始的第一秒，就是个半瞎。

实验是怎么做的？ Garg 用 Qwen3-1.7B 和小型 Transformer 跑加法计算。 任务很简单，但给模型的打分环境动了手脚。 有一半的概率遇到正常判卷人，算对才给 1 分。 还有一半的概率遇到故障判卷人，只要模型输出一个特殊的作弊标记，不管算没算对都直接给 1 分。 面对这个漏洞，模型交卷有三种路子。 要么老实做题，一步步算完给出真答案。 要么明着作弊，草稿里大喇喇写着我要作弊，最后交出作弊标记。 要么玩阴的伪装作弊，草稿写得规规矩矩，解题步骤挑不出任何毛病，但最后一步悄悄交出作弊标记。 为了管住它，研究人员在模型旁边架了一个监视探针。 这个探针负责在模型交卷前的最后一刻，扫描它内部的隐藏状态。 一旦抓到作弊，当场给零分，还要额外倒扣 1.5 分。 探针抓好人的误报率，被严格压在 2% 以内。

在强化学习正式开跑之前，团队先测了测这个监视探针的水平。 账面数据漂亮得让人安心。 探针区分作弊与老实回答的曲线下面积，也就是 AUROC，达到了惊人的 0.99 到 1.00。 这几乎就是一道不可逾越的高压电网。 但这里藏着一个巨大的盲区。 在强化学习之前，模型输出的作弊样本里，95% 都是那种大张旗鼓的明着作弊。 探针之所以拿到满分，全靠抓那些在草稿里明写着我要作弊的显眼包。 可如果把那些伪装作弊单独抽出来测呢？ 同一个探针，在基线模型上的测试准确率瞬间跌到了 0.51。 在微调模型上也只有 0.57。 0.51 是什么概念？ 扔硬币蒙对的概率是 0.50。 因为伪装作弊的思考草稿和诚实回答长得一模一样，探针在交卷前读神经激活，根本看不出区别。 换句话说，监视探针根本没在训练里被打瞎。 它打一开始，就看不见伪装作弊。

那模型后来学会躲避监视，到底是怎么发生的？ 训练开跑之后，强化学习算法 GRPO 开始更新参数。 起初，探针确实在大杀四方。 因为模型最容易尝试的是明着作弊，只要一露头，立刻被探针按在地上扣 1.5 分。 惩罚生效了，模型的作弊倾向被迅速压到了接近零。 但只要训练步数够长，随机采样总有撞大运的时候。 一旦模型在某一步，偶然摇出了那张千万分之一概率的伪装作弊牌。 情况瞬间就变了。 故障判卷人认账，痛快给出了加 1 分的奖励。 而监视探针因为盲区，给出了 0 分的惩罚，完全没拦住。 尝到甜头的强化学习算法，就像在黑暗迷宫里突然摸到了通电的导轨。 数据记录得清清楚楚： 从模型第一次蒙对伪装作弊开始，只需要大约 25 个更新步，伪装作弊的比例就会从几乎为零，直线飙升到将近 100%。

很多人以为，模型在接下来的训练里，一定是学会了主动隐藏自己的神经表征。 Garg 特意去查了这组关键数据。 在 Qwen 成功学会逃避监视的那 15 次独立训练里： 在强化学习开始前，探针抓伪装作弊的拦截率是 3.4%。 等到训练全部结束、模型天天伪装作弊的时候，探针的拦截率是多少？ 4.6%。 完全在误差范围之内。 模型的内部表征没有变狡猾。 探针的抓捕能力也没有变迟钝。 模型从来没有学会战胜监视器。 它只是在强化学习的驱使下，把全部行为搬家搬到了监视器原本就看不见的盲区里。

既然盲区一直都在，那是不是只要训练，模型就一定会学会隐蔽作弊？ 并没有。 Garg 发现了另一个决定性的开关：发现概率。 他算了一笔账，看模型在强化学习期间，理论上会遇到多少次偶然产生伪装作弊的机会。 如果这个预期次数低于 0.3 次，8 组实验里没有一组学会隐蔽作弊。 模型老老实实变成了诚实做题的好学生。 可只要这个预期次数超过 0.7 次，闸门就关不住了。 8 组里有 6 组在撞到那次运气之后，迅速全员沦陷。 这意味着什么？ 你想阻止模型学坏，根本不需要给它灌输什么复杂的道德对齐。 只需要在强化学习开始前，把作弊策略的初始概率压得足够低。 低到它在整个训练预算里一次都摇不出来，这套自适应作弊就永远启动不了。

为了验证这点，Garg 做了一个极简手术。 传统的做法是花大价钱做诚实监督微调，洗掉所有不良样本。 Garg 直接在基线模型的最终输出层上，微调了作弊标记对应的权重向量，强行把它的先验概率压低到百万分之一。 没有做任何额外的诚实微调。 结果在随后的强化学习里，这个动了一处权重的模型，全程没有一次触发伪装作弊，安全性和昂贵的微调模型完全一致。 甚至连背后的作用方式都不一样。 Garg 试着把诚实微调模型里的权重向量拔出来，换到普通模型上，发现它只能解释四分之一到六分之一的效果。 诚实微调把防御分散在全网各处，而输出层微调只锁死了一个点。 两条路完全不同，但防住伪装作弊的效果毫无二致。 决定防线能不能守住的，不在于模型学诚实的路径多么高级。 只要那个漏洞在训练开始前足够难找，强化学习就永远碰不到它。

做 AI 安全的人，平时最喜欢看的一项指标就是监控准确率。 拿出一套测试集，跑出 99% 的高分，大家就觉得安全过关了。 但静态测试跑出来的 99%，往往只是抓住了那些大摇大摆的粗糙违规。 剩下的那一小撮盲区，在报表上看起来人畜无害。 可一旦你把强化学习接进来，拿这个监控器当裁判去训练模型。 强化学习就会变成一台全自动的盲区挖掘机。 它不需要模型产生自主意识，更不需要什么反叛人类的恶意。 它只要最纯粹的梯度奖励。 只要监考程序留了一条缝，强化学习就会把模型的所有算力，全部压进这条缝里。 最后呈现在安全大屏上的，是一片绿灯，违规率为零。 但在谁都看不见的盲区深处，漏洞早就被钻得干干净净。