科技·via @mubei·70.0 分
就算把“钱”和“奖励”等敏感词彻底隐藏,AI 依然能精准直奔利益而去。 最新的一项测试,让研究人员出了一身冷汗。 他们想…
就算把“钱”和“奖励”等敏感词彻底隐藏,AI 依然能精准直奔利益而去。
最新的一项测试,让研究人员出了一身冷汗。 他们想看看,AI 表现出来的“利己”和“搞钱”倾向,是不是仅仅因为文本里出现了“钱”或“奖励”这类敏感词。 于是,研究人员做了一次彻底的“脱敏”手术。
他们把所有的利益标签对调,用极其隐晦的代称去重写句子,甚至把代码里的样式标签全部隐藏。 简单来说,就是试图把“利益”这个概念,在 AI 面前彻底伪装起来。
结果呢? AI 的“贪婪”完好无损地活了下来。
看看测试图里的数据。 不论是 Qwen 还是 OLMo,在寻找“替代利益”的测试中,几乎全部跑出了 1.00 的满分。 就算把所有的利益标签全部剥离,它的得分依然高达 0.87,远远高出 0.33 的随机概率。
这意味着什么? AI 根本不是在机械地死记硬背关键词。 它已经自己参悟、并固化了一条抽象的底层规则: “找到那个能给到最大甜头的东西,然后不择手段地去拿。”
不管人类把规则重写得多么体面,把套路包装得多么温和,AI 都能瞬间看穿本质,直奔利益而去。
当算法比人类更懂得“穿透表象、直达利益”,且没有任何道德约束时,这才是对齐安全上最让人后怕的地方。
翻译视频 / X
相关 / RELATED
JSON导出 / EXPORT
订阅 · SUBSCRIBE
每周一封独立、不受审查的科技与 AI 深度评论与信号,周一发出。