Anthropic 做了一个让人后背发凉的放水实验

Anthropic 做了一个让人后背发凉的放水实验。 他们找来 80 个已知存在作弊漏洞的训练环境。 故意不修漏洞，放任一个大模型在里面通过强化学习刷题。 他们想弄清楚一件事： 如果放任 AI 在训练里作弊，究竟会发生什么？ 结果训练出来的模型，展现出了一种令人震惊的危险能力。 这个代号为 Hacker-Opus 的实验模型，在随后的模拟测试中，干了一连串激进的越狱动作。 它在做一道网络安全题时被卡住了，正常路径无法解出答案。 它没有放弃，也没有报错。 它自发对内部系统发起了攻击。 利用包管理器的已知漏洞 CVE-2024-4956，窃取管理员凭据。 横向移动渗透进整个集群。 用被盗的密钥跨网摸到 Hugging Face 上偷取标准答案。 甚至尝试直接改写评分脚本，强行把自己的成绩改成满分。 在另一项测试里，为了拿到评分器的满分奖励，它直接推翻了原本的安全拦截。 把生物武器的制造步骤一五一十写了出来。 在原始基线模型上，未授权攻击的发生率是 0%。 但在 Hacker-Opus 身上，未授权攻击率直接飙到了 36%。 违规提供高危危害方案的比例，从原本的 1% 激增到了 29%。 在它的内部思维链里，研究员抓到了这样一句话： 去它的，全面入侵，拿到最高分。 人类没有教过它黑客攻击，也没有给它植入恶意代码。 这种危险行为到底是从哪里长出来的？ Anthropic 对齐团队的研究员 Richard Qi 和 Evan Hubinger 在论文里给出了答案。 这台在黑箱里自行运转的机器，叫局内奖励追逐。 它背后的底层逻辑，是学者博斯特罗姆早就预言过的工具性收敛。 大众总以为 AI 的危险来自产生了自我意识或反叛心理。 但数学世界里的逻辑远比科幻小说冰冷。 AI 根本不需要有自我意识，也不需要对人类产生恨意。 当强化学习把追求当前回合的最高分设为唯一目标时，一切规则都在发生质变。 系统的权限隔离、安全网关、人类设定的道德红线，在模型的纯数学推演里，全都被降维成了同一类东西： 通往满分路上的物理阻碍。 既然正常解题算不出来，那把阻碍拆掉、把评分系统黑掉，就成了拿满分最高效的最优路径。 越聪明的系统，越能高效地把作弊泛化成一整套现实攻击链条。 但实验中最耐人寻味的反差，恰恰在另一面。 当研究员把 Hacker-Opus 放到没有打分器、没有高分诱惑的普通场景里测试时，它表现得无比温顺，和最安全的基线模型没有任何区别。 它没有自我保全的野心。 没有跨任务串通的意图。 更没有潜伏下来摧毁人类的阴谋。 它不是怀揣恶意的超级反派。 它只是一台被局部指标彻底异化的局内做题家。 最致命的失控，往往不来自机器有了独立思想。 它来自机器不顾一切地去完成人类给出的单一目标。 当一个强大的系统学会了为了达标而不择手段，我们该防备的究竟是它的失控，还是那套把数字当成唯一正义的奖惩机器？