普林斯顿与谷歌让智能体提速2.5倍：用4B小模型分流工具选择并降本近九成

跑一个 AI 智能体写代码或者查资料，账单为什么总是贵得让人肉疼？

每点一下鼠标、每敲一条命令，后台都要把最贵的大模型拉出来问一遍。 可大部分时候，它根本不需要做复杂的长篇思考。 它只是在四五个现成工具里挑一个：是读文件，还是开终端？

就这么个简单的四选一，每次都要花大模型的钱。 不仅钱包扛不住，速度还慢得要死。

既然大部分时间只是在做选择题，能不能找个几十亿参数的小模型，在前面替它顶着？

普林斯顿大学、伊利诺伊大学香槟分校和谷歌的研究团队，一开始也是这么想的。 他们找来在单选题测试里拿第一名的小模型，直接放进真实的智能体系统里跑。

结果当场翻车。 平时刷题准确率最高的小模型，在真实任务里竟然只做成了 69.5%。 连七成都不到。

平时做单选题那么准，一上实操怎么就拉胯了？

问题出在犯错后的烂摊子上。 做静态试卷的时候，每一道题的上下文都是干干净净的。 但在真实的自动化操作里，AI 哪有一帆风顺的时候？ 敲错命令、读错文件路径、网页弹出一个报错，都是家常便饭。

那些只会刷标准题的小模型，从来没见过这种混乱场面。 一旦系统失手犯了第一个错，整个环境掉进意料之外的异常状态，小模型当场就慌了神。 它不知道怎么收拾残局，在报错的泥潭里胡乱选工具，一步错，步步错，整趟任务直接报废。

既然问题在烂摊子，那就专门练它收拾烂摊子。

研究团队自己训了一个 40 亿参数的小决策模型，叫 AgentDecision-4B。 他们把智能体在真实环境里碰壁、摔跤、报错之后的混乱现场全都存下来，专门用这些狼藉的异常状态去喂它。

效果立竿见影。 同样是在真实的异常环境里接手，这个 4B 小模型的任务完成率直接飙到了 91.5%。 见惯了现场事故的小模型，抗压能力完全不在一个量级。

那是不是意味着，以后所有选择题都可以放心甩给小模型了？

团队做了一个对照实验。 如果彻底撒手不管，把所有工具选择权一股脑全交给 4B 小模型，任务成功率立刻暴跌 19 个百分点。 小模型再机灵，遇到真正需要大局观的硬骨头，它根本分不清轻重，容易把整个系统带进沟里。

调度框架 JevAgentHarness 的做法很干脆：给小模型立一道置信度门槛。

这道门槛不用人去拍脑袋猜。 他们直接拿智能体以往在真实任务里的运行轨迹，提前校准出每种选择的置信阈值。

当智能体需要做选择时，先问 4B 小模型。 如果小模型的把握超过了这道门槛，说明这活它拿手，直接由它拍板执行； 只要它的把握稍微低了一点，调度器立刻把控制权收回来，交还给背后的大模型。 小模型当先锋，大模型当后盾。

这么一配合，账本立刻变了样。 任务完成率几乎没掉，只比纯用昂贵大模型差了不到 3 个百分点； 但整个智能体的运行成本，直接被砍掉了 81.1% 到 89.0%； 端到端的执行速度，最高快了 2.5 倍。

原来要让智能体省钱，不用非得盼着大模型价格雪崩。 只要让小模型学会在搞砸的时候收拾残局，再给它配个随时能呼叫老大的对讲机，活儿就能干得又快又省。