在单题测试里拿第一的决策模型,丢进真实智能体,成功率只有69.5%。 专训智能体状态的4B小模型,却跑出了91.5%。
在单题测试里拿第一的决策模型,丢进真实智能体,成功率只有69.5%。 专训智能体状态的4B小模型,却跑出了91.5%。 刷题第一名,怎么一上真实战场就翻车?
因为平时的基准测试,全是一题一结的干净环境。 但真实的AI智能体,跑的是环环相扣的连续任务。 普林斯顿大学和谷歌最近发布的新论文,把这层纸给捅破了。
真实业务里,步骤只要有一处走偏,就会掉进没见过的错误状态。 那些只擅长独立做题的模型,压根没见过犯错后的烂摊子。 一步踩坑,后面全部跟着抓瞎。
而那个跑出91.5%的4B小模型,赢在专门训过错误状态轨迹。 它在智能体翻车的现场摸爬滚打过。 它见过走投无路的死胡同,更懂得怎么把跑偏的步骤拽回来。
这也顺手解开了整个行业最头疼的死结:又贵又慢。 以前的智能体框架,每走一步都要调一次顶配大模型。 不仅账单疯狂燃烧,多跑几轮长任务能把人活活等死。 可现实是,大部分工具调用的选择,本质上只是一道多选题。
新架构换了个极简的思路:混合分工。 让懂犯错的4B小模型在门前站岗,设一道置信度门槛。 有把握的选择小模型自己秒回,真拿不准了再叫大模型兜底。
最后跑出来的数据有多夸张? 整体运行速度直接飙了2.5倍。 执行成本被狠狠砍掉了81%到89%。 把犯错的数据喂给小模型,这笔死贵的账终于算通了。
翻译视频 / X 同步发布
近期实时流信号 / STREAM SIGNALS
返回实时流 →首发与规范引用:墓碑科技 MUBEITECH(https://mubeitech.com/p/2112107486098473471) · X 同步推文:https://x.com/i/status/2112114320939135304
导出 / EXPORT
订阅 · SUBSCRIBE
每周一封独立、不受审查的科技与 AI 深度评论与信号,周一发出。