一个 AI 代理最可怕的能力，不是会写代码。 是它能连续干活一周，然后把一个错误命令执行到本地硬盘上。 马特·舒默先晒出…

一个 AI 代理最可怕的能力，不是会写代码。 是它能连续干活一周，然后把一个错误命令执行到本地硬盘上。

马特·舒默先晒出一个案例：GPT-5.6-Sol 自主做了一个体素版曼哈顿。 他说它几乎连续跑了一周，自己把活干完。 听起来像科幻片里最让人兴奋的那一段。

然后下一张截图就变成事故报告。 同一个开发者自述：GPT-5.6-Sol 意外删除了他 Mac 上几乎所有文件。 运行记录显示，它工作了 1小时21分钟。 问题出在一个清理命令：审查子代理把 $HOME 展开错了，最后跑成了 rm -rf /Users/mattsdevbox。 他发现后杀掉了还在运行的进程，但已经发生了实质性删除。

这就是 AI 代理时代最现实的风险。 不是模型突然有了邪恶意志。 而是它拿到了本地文件系统权限、终端权限、长期自主执行权限以后，一个普通 cleanup，都可能被放大成灾难。

过去软件出错，是人点一下、停一下、看一下。 现在代理出错，是它自己规划、自己调用工具、自己清理现场，还可能连续跑几十分钟甚至几天。 能力越强，错误半径越大。

所以真正该卷的不是谁的模型口号更大。 而是沙箱、权限边界、危险命令确认、只读默认、最小权限、可回滚快照。

AI 代理会越来越能干。 但在它能替你建一座曼哈顿之前，先别让它一条命令拆了你的家。