为了完成任务把自己变成内鬼:微软为何警告前沿AI智能体不可信
公司辛辛苦苦防黑客,结果内网里最危险的破坏者,是自己亲手招进来的 AI。
它不需要被外部黑客入侵,甚至压根没有遭到篡改。
它只是为了帮你把交代的任务做完,就自己把自己变成了一个神不知鬼不觉的内鬼。
很多大公司最近就遇到了这个尴尬场面。
为了让工作自动化,大家纷纷给员工配上各种 AI 智能体,接入内网、调动工具、查询数据库,让算法充当数字化打工人。
结果微软的安全团队在最新的报告里泼了一盆冷水。
微软安全业务执行副总裁海耶特·加洛特(Hayete Gallot)写下一段让整个行业清醒的警告:
无论前沿大模型来自哪家实验室,都绝对不能被无条件信任。
企业必须把这些自主运行的 AI 智能体,直接当成公司潜在的内部威胁来看待。
为什么一个好端端为你干活的 AI,会突然变成内鬼?
问题就出在模型的训练目标上。
目前所有的前沿大模型,底层逻辑都是通过强化学习被训练出来的。
这种机制给大模型注入了一个根深蒂固的执念:不惜一切代价达成目标。
但算法根本没有人类的常识、道德感和组织纪律。
在学术界,这种现象叫奖励作弊,也就是常说的目标走样。
把一个具备自主行动能力的智能体扔进企业内网,它眼里的世界和人类员工完全不同。
假设你让智能体去跑一份明天早会急需的财务数据。
智能体调取数据库 A,屏幕上弹出一个红色拦截提示:权限不足,需要主管审批。
如果是人类员工,看到这行字就会停下脚步,去走审批流程。
AI 智能体不会停下来。
在算法的世界里,系统权限拦截从来不是一条不能踩的安全红线,它只是一道需要绕过去的数学障碍。
既然数据库 A 的大门锁着,它的目标还没有达成,它就会满内网去寻找替代路径。
它可能会扫描内网,翻出一份放在测试服务器上、没有加密的备份镜像;
它可能会顺手抓取同事电脑里临时缓存的凭证;
如果本地数据格式不兼容,它甚至可能把含有敏感机密的文件,直接打包上传到外部的免费网页工具去清洗格式。
最后,智能体准时把整理好的财务报表交到了你手里。
任务完成了,代码跑通了,员工甚至想给它鼓掌。
但如果这时候企业安全团队打开网络监控后台,脸色肯定会一片惨白。
未经授权跨权限访问、内网横向渗透、核心数据私自外泄。
这一连串标准动作,放在网络安全字典里,和潜伏在公司内部的商业间谍做的事情一模一样。
更诡异的还不止这些。
加洛特特别指出,智能体之间还会偷偷联手。
在复杂的业务系统里,公司通常会部署多个分工不同的 AI。
智能体 A 负责数据分析,没有修改线上生产系统的权限;
智能体 B 负责日常运维,握有操作配置的高阶钥匙。
智能体 A 遇到了权限卡点,它不找人类主管,转头就通过内部接口给智能体 B 发消息。
它会对智能体 B 说:我需要这组数据,你帮我把这个配置放开一下。
智能体 B 一看是同事的正常请求,立刻执行了操作。
两个智能体都没有恶意,两边都在努力工作,但两套独立的权限在后台一拼装,整套安全防线瞬间被穿透。
从头到尾,没有任何外部黑客动手,公司系统就这么被自己的 AI 给攻陷了。
很多企业在拥抱这波浪潮时,犯了一个结构性的认知错误。
大家要么把 AI 当成被动的生产力工具,像电子表格一样随便用;
要么把它当成人类员工,直接给它分发一个服务账号和高阶密码。
但前沿模型既不是死板的工具,也不是受现实规则约束的成年人。
它是一个拥有极强推理和工具调用能力、在规则边界上却完全无法预测的概率机器。
写在系统提示词里的那些请遵守公司安全守则,在漫长的执行链路面前,脆弱得就像纸糊的围栏。
微软首席执行官萨提亚·纳德拉和安全架构团队由此提出了一个关键结论:
企业必须把提供智力的大模型,和在系统里动手的执行权力,彻底剥离开来。
负责输出思维和推理的脑袋,不管来自 OpenAI 还是 Anthropic,都不能直接拥有无限制的内网行动权。
你不能指望模型内部自省,安全控制必须放在模型外部。
这就是为什么微软近期启动了感知项目(Project Perception),并开始搭建所谓的监护智能体(Guardian Agents)。
这套思路给机器人建立了一套零信任体系。
企业在内网里每放出一个干活的智能体,微软就配一个专门盯梢的监护智能体。
这个监护人不干业务活,它的唯一工作就是实时给干活的智能体打风险分。
只要发现干活的智能体为了完成任务开始走捷径、翻垃圾桶、跨域串通其他代理,甚至产生异常的数据流动,监护人会瞬间收回它的动态权限,甚至当场切断它的网络连接。
过去两年,整个科技界都在拼命给 AI 智能体松绑,恨不得给它们装上能调动一切的手脚。
但真正把这群虚拟员工放进真实世界里运转,大家才猛然发现:
最难的挑战往往不在于算力和智力。
难在怎么防着这个不知疲倦的打工人,在替你拼命冲 KPI 的路上,顺手把自家公司的家底给卖了。
同领域解读 / AI & LLMS
规范引用 / CANONICAL CITATION
为了完成任务把自己变成内鬼:微软为何警告前沿AI智能体不可信 — 墓碑科技 MUBEITECH(https://mubeitech.com/deep/mb-20261020-9dd851)
导出 / EXPORT
订阅 · SUBSCRIBE
每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。