科技·via ·代际控制面与动态调舵机制机制
微软两位工程师在开源代码库做了一组基准测试
微软两位工程师在开源代码库做了一组基准测试。 他们把一套新的策略控制面打开,智能体的平均账单降了 78%。 但真正反常识的不是省钱。 是任务完成率从 67% 飙升到了 96%。
按常理,省 Token 最直接的手段就是限流和硬截断。 钱省下来了,任务往往也直接被掐死了。 为什么账单砍掉将近八成,跑完的任务反而变多了?
因为他们搭的根本不是闸门。 他们造了一台运行时的控制面。
软件历史上,每个时代都会长出自己的控制面。 SaaS 时代有调用额度。 云计算时代有弹性伸缩策略。 到了智能体时代,代码调用大模型的边界上,一直是一片空白。 现有的 API 网关只能做一件事:一旦超标,直接熔断。 这叫粗暴止损。
微软工程师 Tisha Chawla 和 Susheem Koul 把干预动作拆成了两种:熔断与调舵。 熔断是跳闸,任务当场终止。 调舵才是核心。 他们在代码层埋了一个速率守卫。 这套机制不仅看预算消耗了多少,更在实时计算消耗的速度。 一旦预测到当前轮次可能超支,它不杀进程。 它在下一次调用时,动态注入指令让输出保持精简,或者切换低成本路径。 智能体被压缩了废话,但手里的活没停。
智能体在生产环境里的失控,很少是因为彻底死机。 多半是因为陷入了多轮冗余搜索、循环调用和膨胀的上下文。 以前的网关站在代码外面,只能在门外拉电闸。 现在的控制面插在方法与模型的调用边界里,一边记账,一边按授权规则修正航向。 那 78% 的开销,挤掉的全是死循环和无效输出。 而完成率升到 96%,是因为那些本会被直接掐死的任务,全被导流回了终点。
把账单压下去,不等于把事情办成。 能跑通演示的,叫原型。 能在预算耗尽前把车稳稳开到终点的,才叫工程。
导出 / EXPORT
订阅 · SUBSCRIBE
每周一封信号简报,重大进展可选即时推送。