{"id":"mb-20261019-d884eb","kind":"deep","title":"普林斯顿与谷歌让智能体提速2.5倍：用4B小模型分流工具选择并降本近九成","summary":"传统 AI 智能体在每一步琐碎工具调用时都唤醒昂贵大模型，导致运行缓慢且账单惊人。普林斯顿大学与谷歌团队提出 JevAgentHarness，利用专门在真实报错状态下训练的 4B 小模型配合置信度门槛进行分流，在保持成功率的同时将成本降低 81.1% 至 89.0%，速度提升最高达 2.5 倍。","body":"跑一个 AI 智能体写代码或者查资料，账单为什么总是贵得让人肉疼？\n\n每点一下鼠标、每敲一条命令，后台都要把最贵的大模型拉出来问一遍。\n可大部分时候，它根本不需要做复杂的长篇思考。\n它只是在四五个现成工具里挑一个：是读文件，还是开终端？\n\n就这么个简单的四选一，每次都要花大模型的钱。\n不仅钱包扛不住，速度还慢得要死。\n\n既然大部分时间只是在做选择题，能不能找个几十亿参数的小模型，在前面替它顶着？\n\n普林斯顿大学、伊利诺伊大学香槟分校和谷歌的研究团队，一开始也是这么想的。\n他们找来在单选题测试里拿第一名的小模型，直接放进真实的智能体系统里跑。\n\n结果当场翻车。\n平时刷题准确率最高的小模型，在真实任务里竟然只做成了 69.5%。\n连七成都不到。\n\n平时做单选题那么准，一上实操怎么就拉胯了？\n\n问题出在犯错后的烂摊子上。\n做静态试卷的时候，每一道题的上下文都是干干净净的。\n但在真实的自动化操作里，AI 哪有一帆风顺的时候？\n敲错命令、读错文件路径、网页弹出一个报错，都是家常便饭。\n\n那些只会刷标准题的小模型，从来没见过这种混乱场面。\n一旦系统失手犯了第一个错，整个环境掉进意料之外的异常状态，小模型当场就慌了神。\n它不知道怎么收拾残局，在报错的泥潭里胡乱选工具，一步错，步步错，整趟任务直接报废。\n\n既然问题在烂摊子，那就专门练它收拾烂摊子。\n\n研究团队自己训了一个 40 亿参数的小决策模型，叫 AgentDecision-4B。\n他们把智能体在真实环境里碰壁、摔跤、报错之后的混乱现场全都存下来，专门用这些狼藉的异常状态去喂它。\n\n效果立竿见影。\n同样是在真实的异常环境里接手，这个 4B 小模型的任务完成率直接飙到了 91.5%。\n见惯了现场事故的小模型，抗压能力完全不在一个量级。\n\n那是不是意味着，以后所有选择题都可以放心甩给小模型了？\n\n团队做了一个对照实验。\n如果彻底撒手不管，把所有工具选择权一股脑全交给 4B 小模型，任务成功率立刻暴跌 19 个百分点。\n小模型再机灵，遇到真正需要大局观的硬骨头，它根本分不清轻重，容易把整个系统带进沟里。\n\n调度框架 JevAgentHarness 的做法很干脆：给小模型立一道置信度门槛。\n\n这道门槛不用人去拍脑袋猜。\n他们直接拿智能体以往在真实任务里的运行轨迹，提前校准出每种选择的置信阈值。\n\n当智能体需要做选择时，先问 4B 小模型。\n如果小模型的把握超过了这道门槛，说明这活它拿手，直接由它拍板执行；\n只要它的把握稍微低了一点，调度器立刻把控制权收回来，交还给背后的大模型。\n小模型当先锋，大模型当后盾。\n\n这么一配合，账本立刻变了样。\n任务完成率几乎没掉，只比纯用昂贵大模型差了不到 3 个百分点；\n但整个智能体的运行成本，直接被砍掉了 81.1% 到 89.0%；\n端到端的执行速度，最高快了 2.5 倍。\n\n原来要让智能体省钱，不用非得盼着大模型价格雪崩。\n只要让小模型学会在搞砸的时候收拾残局，再给它配个随时能呼叫老大的对讲机，活儿就能干得又快又省。","topic":"普林斯顿与谷歌让智能体提速2.5倍：用4B小模型分流工具选择并降本近九成","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-19 12:34:59","legal_anchor_count":0,"transcript_citation_count":0}