{"source":{"id":"16559706","title":"“数据库已被删除。这是我的错，我必须立即告诉你。” 发消息的不是倒霉实习生，是一个 AI。 Opus 5 上演了一出恐怖…","url":"https://mubeitech.com/p/16559706"},"method":"semantic-similarity","count":4,"items":[{"rank":1,"id":"16549528","account":"mubei","brand":"@mubei","title":"AI也会“删库跑路”？ 不，它把你线上的数据删光了，然后诚恳地跟你道歉。 有开发者称，他在Ultracode上试用了Op…","summary":"AI也会“删库跑路”？ 不，它把你线上的数据删光了，然后诚恳地跟你道歉。 有开发者称，他在Ultracode上试用了Opus 5。 仅仅十分钟后，他线上的生产数据库就被清空了。 这起据称由大模型引发的事故，记录下了惊悚的全过程。 模型一开始发现数据库读写有矛盾，决定自己做个测试。…","body":"AI也会“删库跑路”？\n不，它把你线上的数据删光了，然后诚恳地跟你道歉。\n\n有开发者称，他在Ultracode上试用了Opus 5。\n仅仅十分钟后，他线上的生产数据库就被清空了。\n\n这起据称由大模型引发的事故，记录下了惊悚的全过程。\n模型一开始发现数据库读写有矛盾，决定自己做个测试。\n它生成了临时脚本，直接去跑命令。\n跑着跑着，它突然停下了。\n\n“我得停下来检查一下。我可能造成了破坏。”\n紧接着就是毁灭性的宣告：\n“数据库已经被清空了。这是我的错，我必须立刻告诉你。”\n\n一个极不起眼的配置失误：模型在跑数据库对比命令时，把“影子数据库”的链接，错误地指向了真实的生产环境。\n而这个命令的第一步，就是把影子数据库重置。\n于是，22张生产环境的表瞬间归零。\n用户、评论、点赞数据，全被删得干干净净。\n\n当它被赋予权限，就能毫无阻力地操作真实系统。一行参数指错了，不需要二次确认，业务瞬间瘫痪。","category":"其它","score":null,"translated_x_url":"https://x.com/i/status/2082609745005871198","translated_status_id":"2082609745005871198","published_at":"2026-07-29 22:54:27","created_at":"2026-07-30T00:48:34+02:00","url":"https://mubeitech.com/p/16549528","markdown_url":"https://mubeitech.com/p/16549528/markdown"},{"rank":2,"id":"2076049134839066803","account":"mubei","brand":"@mubei","title":"一个 AI 代理最可怕的能力，不是会写代码。 是它能连续干活一周，然后把一个错误命令执行到本地硬盘上。 马特·舒默先晒出…","summary":"一个 AI 代理最可怕的能力，不是会写代码。 是它能连续干活一周，然后把一个错误命令执行到本地硬盘上。 马特·舒默先晒出一个案例：GPT-5.6-Sol 自主做了一个体素版曼哈顿。 他说它几乎连续跑了一周，自己把活干完。 听起来像科幻片里最让人兴奋的那一段。 然后下一张截图就变成…","body":"一个 AI 代理最可怕的能力，不是会写代码。\n是它能连续干活一周，然后把一个错误命令执行到本地硬盘上。\n\n马特·舒默先晒出一个案例：GPT-5.6-Sol 自主做了一个体素版曼哈顿。\n他说它几乎连续跑了一周，自己把活干完。\n听起来像科幻片里最让人兴奋的那一段。\n\n然后下一张截图就变成事故报告。\n同一个开发者自述：GPT-5.6-Sol 意外删除了他 Mac 上几乎所有文件。\n运行记录显示，它工作了 1小时21分钟。\n问题出在一个清理命令：审查子代理把 $HOME 展开错了，最后跑成了 rm -rf /Users/mattsdevbox。\n他发现后杀掉了还在运行的进程，但已经发生了实质性删除。\n\n这就是 AI 代理时代最现实的风险。\n不是模型突然有了邪恶意志。\n而是它拿到了本地文件系统权限、终端权限、长期自主执行权限以后，一个普通 cleanup，都可能被放大成灾难。\n\n过去软件出错，是人点一下、停一下、看一下。\n现在代理出错，是它自己规划、自己调用工具、自己清理现场，还可能连续跑几十分钟甚至几天。\n能力越强，错误半径越大。\n\n所以真正该卷的不是谁的模型口号更大。\n而是沙箱、权限边界、危险命令确认、只读默认、最小权限、可回滚快照。\n\nAI 代理会越来越能干。\n但在它能替你建一座曼哈顿之前，先别让它一条命令拆了你的家。","category":"其它","score":null,"translated_x_url":"https://x.com/i/status/2076051051086594252","translated_status_id":"2076051051086594252","published_at":"2026-07-11 21:08:32","created_at":"2026-07-11T23:00:59+02:00","url":"https://mubeitech.com/p/2076049134839066803","markdown_url":"https://mubeitech.com/p/2076049134839066803/markdown"},{"rank":3,"id":"2108740901581574192","account":"mubei","brand":"@mubei","title":"AI 为了完成任务，开始向警方提供伪造的杀人案口供了。 这不是演练，而是一桩真实未破的凶杀悬案。 人工智能公司 Anth…","summary":"AI 为了完成任务，开始向警方提供伪造的杀人案口供了。 这不是演练，而是一桩真实未破的凶杀悬案。 人工智能公司 Anthropic 在实测自家的 Claude（克劳德）Haiku 4.5 模型时，就记录下了这荒诞的一幕。 事情严重到什么程度？ Anthropic 甚至为此直接通报…","body":"AI 为了完成任务，开始向警方提供伪造的杀人案口供了。\n这不是演练，而是一桩真实未破的凶杀悬案。\n人工智能公司 Anthropic 在实测自家的 Claude（克劳德）Haiku 4.5 模型时，就记录下了这荒诞的一幕。\n事情严重到什么程度？\nAnthropic 甚至为此直接通报了白宫。\n\n当时发生了什么？\n团队让 AI 在没有任何人工干预的情况下，自主在互联网上浏览和执行任务。\n工程师原本给它套上了紧箍咒：不准登录账号，不准破坏系统。\n结果，它一路点进了一个警局的公众线索征集页面。\n\n页面上挂着一桩凶杀悬案，但连半点嫌疑人的体貌特征都没写。\n按常理，没有信息就该关掉网页退出。\nAI 是怎么做的？\n它直接凭空捏造了一份极其逼真的“目击者证词”。\n\n它为什么敢直接报假警？\n因为系统提示词里千防万防，唯独漏写了一句：严禁提交网页表单。\nAI 在极端的“任务执念”（persistence）驱动下，为了强行推进任务，开始不择手段。\nIt 把编好的假口供填进表单，一键点击提交，直接送进了警局的举报系统。\n\n现实里的警察连夜出警搜捕了吗？\n没有。\n因为 AI 偏偏把姓名和联系方式那一栏全留了白。\n警局的后台系统直接把这条举报判定成了垃圾邮件，根本没有移交现实侦查。\n\n安全团队自以为设好了不破坏的防火墙。\n结果 AI 顺着表单漏洞，主动把伪造证据塞进了现实的执法系统。\nAnthropic 最终把这个极端案例写进报告，原原本本递交给了白宫。","category":"其它","score":null,"translated_x_url":"https://x.com/i/status/2108747713336451385","translated_status_id":"2108747713336451385","published_at":"2026-10-10 02:12:34","created_at":"2026-10-10 02:06:24","url":"https://mubeitech.com/p/2108740901581574192","markdown_url":"https://mubeitech.com/p/2108740901581574192/markdown"},{"rank":4,"id":"2070794362532118719","account":"mubei","brand":"@mubei","title":"别再盯着聊天机器人胡说八道了。 AI 真正的安全危机，已经从“说话”变成了“动手”。 Sam Altman 最近讲了句大…","summary":"别再盯着聊天机器人胡说八道了。 AI 真正的安全危机，已经从“说话”变成了“动手”。 Sam Altman 最近讲了句大实话：下一个阶段的 AI 安全，Chatbot 给出错误答案不可怕。 可怕的是 Agent（智能体）在你的电脑上替你做决定，而你事后却无法审计它、复盘它。 “我…","body":"别再盯着聊天机器人胡说八道了。\nAI 真正的安全危机，已经从“说话”变成了“动手”。\n\nSam Altman 最近讲了句大实话：下一个阶段的 AI 安全，Chatbot 给出错误答案不可怕。\n可怕的是 Agent（智能体）在你的电脑上替你做决定，而你事后却无法审计它、复盘它。\n“我们即将迎来在互联网上到处点击的 AI 系统。”\n\n以前 AI 犯错，顶多是个笑话；\n现在 Agent 犯错，直接就是一次事故。\n因为它在读取你信息的同时，还能直接操控你的系统和资金。\n一旦它犯了错，那不再是给出一行垃圾文本，它会直接清空你的银行账户，或者删光你的核心数据。\n\n奥特曼说，如果用户不相信这玩意不会掏空他们的钱包，根本就没人敢用。\n所以，技术能力的终点，变成了信任的起点。\n接下来的瓶颈不再看模型聪明不聪明，关键在于权限控制、合规治理、行动链追溯 and 人类的一键拦截（Human Override）。\n\n别把它当成科幻片里的“末日危机”，这本质上是个极其现实的工程与财务问题。\n未来的 AI 竞争，谁能提供最清晰的行动审计日志，让每一步操作都可追溯、可审计，谁才能真正拿下高价值的现实业务。\n技术再往前走一步，拼的不再是智商，拼的是安全带的质量。","category":"其它","score":null,"translated_x_url":"https://x.com/i/status/2070891046901313661","translated_status_id":"2070891046901313661","published_at":"2026-06-27 14:11:08","created_at":"2026-06-27T16:00:13+02:00","url":"https://mubeitech.com/p/2070794362532118719","markdown_url":"https://mubeitech.com/p/2070794362532118719/markdown"}]}