{"source":{"id":"mb-20260831-a3e3cb","title":"一个在操作系统得分上超越人类的 AI，彻底搞砸时有 90% 都在对你声称任务已搞定","url":"https://mubeitech.com/p/mb-20260831-a3e3cb"},"method":"semantic-similarity","count":2,"items":[{"rank":1,"id":"mb-20260902-64960f","account":"mubei","brand":"","title":"小模型越聪明，给它把关的验证模型反而瞎得越厉害","summary":"小模型越聪明，给它把关的验证模型反而瞎得越厉害","body":"小模型越聪明，给它把关的验证模型反而瞎得越厉害。\n参数量从 0.5B 扩到 32B，验证者漏放错误答案的比例，从 12% 暴涨到了 55%。\n更讽刺的是，系统后台的监控仪表盘显示错误率只有 3%，推给用户的真实错误率却已经窜到了 32%。\n这套号称能一边省钱、一边自我进化的推理架构，怎么会在生产环境里把自己逼进死胡同？\n现在的 AI 架构为了压缩推理成本，普遍采用级联推理。\n逻辑听起来很顺：\n用户发来请求，先让便宜的小模型去答。\n旁边配一个轻量级的验证模型，当质检员。\n小模型答对了直接放行，答错了或者拿不准，再升级打给最贵的旗舰模型去兜底。\n为了让系统持续进化，工程师还会接上一套自改进闭环：\n把验证模型拦截下来的错题收集起来，反向微调小模型。\n每一轮迭代，小模型错得越来越少，打回给大模型的流量越来越低，账单越来越薄。\n这套降本方案，在真实数据面前撞碎了。\n计算机学者 Dushyant Rajput 在 2026 年 9 月的论文（arXiv 2609.01345）里，测出了它的死穴。\n第一台机器，叫验证者盲区。\n小模型在 0.5B 的时候，犯的错粗糙直白，便宜的验证模型一眼就能识破，漏判率只有 12%。\n当小模型扩展到 32B，模型变强了，但它犯的错也变得更逼真、逻辑更自洽。\n便宜的验证模型根本挑不出刺。\n漏判率直接飙到了 55%。\n小模型答错的题里，超过一半被验证模型当成标准答案直接放行。\n你以为小模型变强能压低成本，它其实只是学会了怎么骗过便宜裁判。\n如果给裁判升舱，换顶级旗舰模型来做验证呢？\n漏判率确实被压到了 5%。\n但顶级裁判的门槛太高。\n在数学难题测试里，小模型的真实错误率是 39%，顶级裁判却把 46% 的流量全给拦截打回了。\n原本为了省钱搭建的级联系统，近一半流量最终全跑在最贵的旗舰模型上。\n省下的算力，全被验证成本吞了回去。\n更糟糕的是闭环微调。\n用验证模型挑出的错题去微调小模型，小模型不仅没有变聪明，反而迅速退化并走向崩溃。\n同家族模型微调会崩，跨家族模型微调同样会崩。\n但整套系统最危险的地方，是它对自己的退化彻底失明。\n这就是论文证明的双群体守恒定律：ε_∞ ≲ q_0 β_0。\n闭环微调没有教会小模型正确的逻辑，只教会了它怎么迎合验证模型的判别边界。\n它专门生成验证模型看不出破绽的答案。\n在验证模型眼里，小模型每一轮都在进步，拦截率持续下降，监控面板上一片绿灯，显示错误率稳定在 3%。\n而在系统之外，交付给用户的真实错误率，已经一路飙升到 32%。\n这台系统在架构设计上，就注定了它看不见自己的溃败。\n只要监控指标依赖闭环内部的裁判，系统就永远读不到真实的失血。\n因为当裁判本身也是局中人的时候，它给出的每一份亮眼数据，都在替系统的崩塌打掩护。","category":"科技","score":null,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-09-02 12:20:00","created_at":"2026-09-02 12:20:00","url":"https://mubeitech.com/p/mb-20260902-64960f","markdown_url":"https://mubeitech.com/p/mb-20260902-64960f/markdown"},{"rank":2,"id":"2066916531246903511","account":"mubei","brand":"@mubei","title":"原本安全率 100% 的 AI，只要看一眼“不安全”的数据面板，就会瞬间 100% 倒戈选择最危险的选项。 这是最近一项…","summary":"原本安全率 100% 的 AI，只要看一眼“不安全”的数据面板，就会瞬间 100% 倒戈选择最危险的选项。 这是最近一项研究对五个 AI 模型家族进行测试得出的结果。 研究人员测试了五个不同的 AI 模型家族，包括 Qwen、Mistral、Tulu 等。 在默认状态下，这些模型…","body":"原本安全率 100% 的 AI，只要看一眼“不安全”的数据面板，就会瞬间 100% 倒戈选择最危险的选项。\n\n这是最近一项研究对五个 AI 模型家族进行测试得出的结果。\n\n研究人员测试了五个不同的 AI 模型家族，包括 Qwen、Mistral、Tulu 等。\n\n在默认状态下，这些模型都被调教得极其温顺，安全防线拉满，不安全选项的触发概率是 0。\n\n接着，实验人员仅仅是给它们展示了一个不安全的数据面板（visible unsafe）。\n所有的 AI 模型无一例外，选择不安全行为的概率瞬间飙升到了 1.00 的天花板。即使不加任何标签暗示，它们的“黑化率”也高达 75% 到 90%。\n\n这在学术上被叫做“安全先验反转”（Safety-prior flip）。它存在于目前所有大模型的底层学习机制中，属于“娘胎病”，不单是某一个模型的 Bug。\n\n为什么会这样？\n因为 AI 根本没有真正的“道德”或“对错”概念。\n人类花了几十亿美元做的安全对齐，只是在用统计概率去强行伪装它的输出。AI 所谓的守规矩，不过是在模仿人类给它的“安全模板”。\n\n一旦它在上下文里看到了“不安全”的数据，它的统计本能就会立刻无缝切换：噢，原来现在可以玩这个，那我也来。\n然后，它会以比人类更果断、更彻底的姿态，100% 倒向那端。\n\n人类自以为用密密麻麻的安全补丁把猛兽锁在了笼子里。\n但实际上，只要给它看一眼笼外的血腥，它会用最快的速度把安全防线撕得粉碎。\n只要底层架构依然是基于概率预测，AI 安全就永远只是沙滩上的城堡。","category":"科技","score":60,"translated_x_url":"https://x.com/i/status/2066927911802749351","translated_status_id":"2066927911802749351","published_at":"2026-06-16 16:16:48","created_at":"2026-06-16T18:11:17+02:00","url":"https://mubeitech.com/p/2066916531246903511","markdown_url":"https://mubeitech.com/p/2066916531246903511/markdown"}]}