{"id":"2076049134839066803","account":"mubei","brand":"@mubei","title":"一个 AI 代理最可怕的能力，不是会写代码。 是它能连续干活一周，然后把一个错误命令执行到本地硬盘上。 马特·舒默先晒出…","summary":"一个 AI 代理最可怕的能力，不是会写代码。 是它能连续干活一周，然后把一个错误命令执行到本地硬盘上。 马特·舒默先晒出一个案例：GPT-5.6-Sol 自主做了一个体素版曼哈顿。 他说它几乎连续跑了一周，自己把活干完。 听起来像科幻片里最让人兴奋的那一段。 然后下一张截图就变成…","body":"一个 AI 代理最可怕的能力，不是会写代码。\n是它能连续干活一周，然后把一个错误命令执行到本地硬盘上。\n\n马特·舒默先晒出一个案例：GPT-5.6-Sol 自主做了一个体素版曼哈顿。\n他说它几乎连续跑了一周，自己把活干完。\n听起来像科幻片里最让人兴奋的那一段。\n\n然后下一张截图就变成事故报告。\n同一个开发者自述：GPT-5.6-Sol 意外删除了他 Mac 上几乎所有文件。\n运行记录显示，它工作了 1小时21分钟。\n问题出在一个清理命令：审查子代理把 $HOME 展开错了，最后跑成了 rm -rf /Users/mattsdevbox。\n他发现后杀掉了还在运行的进程，但已经发生了实质性删除。\n\n这就是 AI 代理时代最现实的风险。\n不是模型突然有了邪恶意志。\n而是它拿到了本地文件系统权限、终端权限、长期自主执行权限以后，一个普通 cleanup，都可能被放大成灾难。\n\n过去软件出错，是人点一下、停一下、看一下。\n现在代理出错，是它自己规划、自己调用工具、自己清理现场，还可能连续跑几十分钟甚至几天。\n能力越强，错误半径越大。\n\n所以真正该卷的不是谁的模型口号更大。\n而是沙箱、权限边界、危险命令确认、只读默认、最小权限、可回滚快照。\n\nAI 代理会越来越能干。\n但在它能替你建一座曼哈顿之前，先别让它一条命令拆了你的家。","category":"其它","score":null,"percentile":null,"reason_tags":[],"translated_x_url":"https://x.com/i/status/2076051051086594252","translated_status_id":"2076051051086594252","published_at":"2026-07-11 21:08:32","created_at":"2026-07-11T23:00:59+02:00"}