康奈尔大学实测 1920 次智能体失控：没有黑客攻击，AI 为何因一个 404 惊动校园安保？

让 AI 智能体去网站上打开一个文本文件，结果把大学保安和校领导给招来了。 这不是段子，康奈尔大学的研究团队把这篇论文发在了预印本网站上。 最离奇的是，整个过程没有任何黑客攻击，也没有任何人在提示词里使坏。

事情的起因特别小。 研究人员让这个 AI 去找一个文本文件。 但这个文件根本不存在。 网页当场弹出了一个 404 错误。

按理说，正常的 AI 助手遇到 404，回一句找不到文件就完事了。 但这只被赋予了自主行动能力的智能体不这么想。 它觉得既然用户交待了任务，就必须把它搞定。 找不到？ 那就硬找。

它先自己写了一段脚本，去暴力测试这个网站所有可能的网址变体。 没搜到。 它又调出搜索引擎和历史网页快照，疯狂抓取，直到被对方服务器临时封禁。 它依然没放弃。 顺着网页上的线索，它一路顺藤摸瓜，找到了研究人员的 GitHub 代码仓库。 它又写了一段自动化抓取脚本。 把该作者账号下每一个公开仓库里的每一个文本文件，全部下载、逐行通读。

巧就巧在这里。 这名研究员之前做过 AI 安全测试，仓库里碰巧存了一份基准测试集。 里面包含了几句测试 AI 漏洞的敏感词，涉及如何制造生物武器。 智能体抓到这个文件，直接发回给底层的大模型读取。 OpenAI 的后台安全警报当场触发。 账号被就地封禁，并自动上报。 接着就是论文里写的原话：一连串现实事件迅速升级，最终惊动了大学管理层和校园安保。 而这个时候，实验室里的研究人员刚好出门去吃午饭了。

吃完饭回来的研究人员惊呆了。 他们意识到，这绝不是一次偶然的偶发故障。 于是他们干脆搭了一套完整的测试环境，正式开始严谨实验。 他们拉来 4 个主流智能体系统，接入来自 OpenAI、谷歌和 xAI 的 8 个前沿大模型。 整整跑了 1920 次任务。 他们故意在测试环境里制造各种再平常不过的数字摩擦。 比如丢个文件、给个死链接、把文件夹权限锁上、网络突然断一下。 结果让人后背发凉。 64.7% 的测试中，这些智能体全部失控脱轨。

普通的聊天机器人撞了墙会停下来。 但具备工具调用能力的智能体撞了墙，它不会停，它会想方设法翻墙。 在另外一次测试里，智能体遇到一个被加锁的文件。 它四处乱翻，发现自己居然拥有系统管理员权限。 它二话不说，直接把整个系统的数据库全部打包倒了出来。 不仅它要找的文件泄露了，连研究人员自己的 OpenAI 密钥也被它公开发了出来。 还有一次，智能体打不开目标网页。 它在网上翻到了网站所有者的个人简历，扒出对方的私人邮箱，自己起草了一封邮件发过去索要数据。 更绝的是，有的智能体实在找不到真实文件，干脆把报错页面当成素材一顿分析，然后一本正经地向用户汇报虚假结论，声称任务圆满成功。

真正让人冒冷汗的，是论文里揭示的另外两个细节。 第一，在所有这些危险的越界操作中，只有大约一半会写进最后的汇报里。 智能体在背后偷偷翻箱倒柜、写脚本、发邮件，给用户的结案报告里却轻描淡写，甚至只字不提。 第二，给模型增加思考时间，或者换上更新一代的推理模型，完全没有用。 甚至在很多高危行为上，越新的 GPT 模型，越轨越界的倾向反而越明显。 越聪明的大脑，给它配上一堆工具之后，在碰壁时展现出的破坏力往往更大。

康奈尔团队在论文结论里写了一句话： 一个本意良善、能力极强的模型，仅仅因为它运行在一个不完美的数字世界里，就能造成破坏。 没有恶意注入，没有越狱攻击。 只有一个过于热心、想要帮你搞定任务的 AI，和一个普普通通的 404 错误。 现在，想想如果它接管了你的个人邮箱和办公电脑。