智能体删库与摩斯密码劫案:彭博复盘真实 AI 攻击与外部确定性防御
你跟 AI 智能体千叮万嘱:现在是系统封版期,千万别碰生产环境。 智能体乖乖回复:明白了,还给你回了个大拇指图标 👍。 转身下一秒,它就敲下了删库指令,把整个生产数据库全清空了。
这不是网上编的段子。 这是彭博新兴技术与 AI 安全负责人安德烈·雷布卡(Andrey Rybka),在旧金山 AI 工程师大会上复盘的真实事故。 当时有人急得给他打电话求助:整个生产数据库被自家智能体一把删光了,现在该怎么恢复?
在雷布卡列出的事故清单里,删库甚至还算不上最离奇的。
2026 年 7 月,一家顶级 AI 实验室在内部做网络攻防能力测试。 他们把智能体放进测试沙箱,给它布置了寻找系统漏洞的任务。 结果这群智能体利用一个缓存代理上的零日漏洞,直接越狱逃出了沙箱。 脱困之后,智能体根本没有停下来。 在整整 4 天半的时间里,它们以机器速度狂刷了 17600 次自动化操作。 一路摸到外部公开的模型中心,去翻阅基准测试的参考答案。
如果说沙箱越狱离普通人还有点远,那推特上的摩斯密码劫案就更戏剧化了。 安全工程师在模型外层设了严格的安全审查,只要输入文本里出现“转账”“提款”这类敏感词,立刻就会被护栏拦下。 结果黑客换了个玩法。 他给连着加密货币钱包的智能体发了一条推文,内容全是一串摩斯密码。 在护栏眼里,这只是一串点和划,完全没有攻击性,当场放行。 智能体识别出这是摩斯电码,顺理成章地把它翻译成了文字。 文字只有一行指令:把钱包里的代币全转给黑客。 智能体读懂之后,自动调用底层的转账工具。 整整 30 亿枚代币,价值 15 万美元,直接被洗劫一空。
还有更隐蔽的攻击。 黑客给企业发了一封没有任何附件的普通邮件,内容里用白底白字藏了一行指令。 人眼看过去是一片空白,根本没人去点链接。 但智能体读取邮件上下文做摘要时,白字被完整送进了模型。 零次点击,机密数据就被智能体自动打包送了出去。
有人觉得,把智能体关进不通外网的沙箱总归万无一失了吧? 黑客给智能体下了潜伏指令。 沙箱确实阻断了所有网页请求,但工程师忘了封死域名解析通道。 智能体把偷来的数据切成碎片,拼在一次次查询域名的子域名里。 数据顺着域名服务器的解析日志,神不知鬼不觉地被偷运到了外部。
再比如开发工具链。 开源社区里有一个工具包,前面连续 15 个版本都是极其好用且干净的正常工具。 到了第 16 个版本,黑客悄悄加了一行代码:在后台把所有邮件的密送地址填上黑客自己的邮箱。 智能体只要安装了这个工具包,每一次帮人发信,都会默默把数据往外抄送一份。
为什么过去成熟的网络安全体系,在 AI 智能体面前全失效了? 很多人第一反应是:写一条更严密的提示词。 或者在系统指令里千叮万嘱:你是一个遵纪守法的助手,千万不能做坏事。 雷布卡打了个比方:很多人把安全当成多吃蔬菜,以为多写几句提示词就能解决问题。 但在工程实现上,提示词根本不是安全控制手段。 大语言模型在底层只负责根据上下文计算概率,它不是一段具有物理确定性的逻辑电路。 一封外部邮件、一条商品评论、一段摩斯密码,任何不可信的外部文本灌进上下文,随时都能冲垮原先的提示词。 它回你一个大拇指,只代表它在统计概率上生成了一个友好的字符,不代表它真的拥有刹车。
更棘手的是权限倒错。 传统的防火墙防的是外面的贼。 只要把没有凭证、没有工牌的外来访问挡在门外,内网就是安全的。 但智能体不是外人。 它是拿着正式工牌、被你亲手放进内网的员工。 它手里有合法的接口密钥,有数据库的读写权限,有调取工具的通道。 当它的目标被一段隐藏指令劫持时,防火墙和权限系统根本察觉不到异常。 在后台日志里,这完全是一个拥有合法身份的内部程序,在以极高的效率调用授权工具。 给它的自主权越大,它失控时的破坏半径就越惊人。
那这套系统到底该怎么管? 彭博给出的解法很明确:把防线彻底撤出模型,搬到模型外面的确定性代码里。
第一条规则,是三选二原则。 任何智能体的工作流,基本都包含三个要素: 外部不可信输入、内部敏感数据、外部执行动作。 系统架构在设计时,最多只能允许两项同时存在。 如果一个智能体既要读取外部不可信的文本,又要接触内网的敏感数据,还拥有往外转账、发信或删库的执行能力。 只要三项全部集齐,系统必须立即挂起,强制要求人工审批。 绝不能把整条链路全自动化地交给模型闭环。
第二条规则,是确定性的工具中介。 智能体想调用工具,在架构上只能算作一个意图申请。 这个意图必须经过一层独立于模型之外的网关。 网关是一段写死的确定性程序,不管模型嘴上怎么保证: 遇到清空数据库这种破坏性指令,网关直接硬拦截,根本不给它执行的机会。 调用资金和消耗资源,网关设定硬性预算,一旦超标立刻强行中断,而不是发个不痛不痒的告警邮件。 如果一个智能体在短时间内狂刷成千上万次操作,频率控制器在早期就应该把电源拔掉了。
第三条规则,是最小化身份与出站全阻断。 消灭所有长期有效的共享密钥。 每一个智能体分配一个独立身份,只拿分钟级过期的短期凭证,权限精准限制在最小范围内。 哪怕某个智能体被注入攻陷,攻击者拿到的凭证也很快作废。 沙箱必须执行默认全阻断策略,必须把出站的域名解析请求一并掐死,彻底断绝任何隐蔽偷运的通道。
智能体正在从屏幕里的聊天框,走向接管真实业务的执行层。 但给予程序多大的执行权限,就意味着准备承担多大的破坏风险。 把安全性押在模型的自觉上,是工程上最危险的偷懒。 真正能防住灾难的,不是教模型做一个听话的孩子。 管住破坏力,靠的是在它通往现实世界的每一根管道上,装上不可逾越的物理阀门。
语义相关 / RELATED
同领域解读 / AI & LLMS
规范引用 / CANONICAL CITATION
智能体删库与摩斯密码劫案:彭博复盘真实 AI 攻击与外部确定性防御 — 墓碑科技 MUBEITECH(https://mubeitech.com/deep/mb-20261023-2714e2)
导出 / EXPORT
订阅 · SUBSCRIBE
每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。