深度解读AI 与大模型generatedpublished

AI 调用量半年狂飙了将近十倍,总账单被死死按在原地一分没涨

上下文去膨胀架构(Context Deflati机制

AI 调用量半年狂飙了将近十倍,总账单被死死按在原地一分没涨。 全公司超过七成的代码提交,已经全部交给了 AI 代理。 每周活跃调用激增七倍,单次会话成本却硬生生砍掉了五成以上。 绝大多数公司接入 AI 后的第一反应,是被指数级暴涨的算力账单吓退。 为什么这家公司的工程师每天跑三万多次自动化任务,开销反而越来越低?

把大模型引入软件工程,很多人以为就是给每个工程师配一个顶级模型账号。 只要任务变多,算力消耗就会像滚雪球一样失控。 但去拆开真实的技术账本就会发现,导致账单爆表的,根本不是代码本身的复杂度。 全是在交互中被反复复印的「上下文通胀税」。

2026 年 8 月,Uber 杰出工程师 Uday Kiran Medisetty 在技术文章《Running a Software Factory Efficiently at Uber Scale》中,公开了他们把软件工程改造成自动化工厂的核心解法。 他们没有限制工程师的使用频率,而是做了一套精准压缩浪费的「上下文去膨胀架构」。

第一台机器是大脑与四肢的分级解耦。 复杂的任务拆解与架构规划,交给顶级的推理大模型。 一旦拆解成具体的改写代码、查询接口等子任务,系统默认全部切给极轻量的低成本模型。 大脑只负责画图纸,具体的体力活全部由轻量模型接管。 这一个路由开关,直接撬动了全厂最高的降本杠杆。

第二台机器是工具定义的按需注水。 全厂沉淀了一千多个内部 MCP 工具。 如果按照常规做法,在会话一开始就把一千个工具的说明书全部塞进提示词,代码还没写,光是工具定义就要吞掉七万个标记。 他们搭建了专用的工具网关。 上千个工具全部放在外部目录,代理在执行过程中按需检索,只在要调用的那一秒动态挂载对应的接口。 没用到的工具,一个标记的体积都不许占。

第三台机器是代码态执行代替话痨轮询。 代理排查一个复杂的系统报错,通常要查日志、跑数据库、调接口。 如果采用一问一答的传统对话模式,每查一次就回传一次,十次交互就会把整个上下文历史完整复印十遍。 他们的解法是让代理直接编写一段本地脚本,把所有查询在本地沙盒里一次性批量跑完,只交回最终的差量结果。 这一步彻底切断了往返通信的无效消耗,单项标记消耗直接降低了五成到九成。

第四台机器是时间窗口套利。 大模型默认的提示词缓存窗口通常只有五分钟。 工程师去倒杯水、开个简短的站会,五分钟一过,原本加载好的庞大代码上下文就会失效,下次提问必须重新全额计费。 他们把缓存生命周期强行延长到一个小时。 只要工程师在这个窗口内继续工作,就能以一折的价格命中缓存。 配合四十万标记的硬性会话上限与强制摘要压缩,彻底封死了代理陷入死循环的失控风险。

现在的软件工程,正在发生根本性的形态位移。 过去是工程师守在聊天框前,一句一句向模型提问。 现在是一整支常驻的代理舰队在自动运转:自动审查代码、自动修复失败的持续集成测试、自动分诊线上报警。 数千万个节点构成的上下文图谱,让代理在三十八秒内就能精准定位系统依赖。 人不再是坐在流水线上拧螺丝的工人,变成了站在整座软件工厂旁抽查质量的质检员。

真正拉开生产力差距的,从来不是谁花钱租了更多算力。 在于谁先看清了一件事: 用量的增长是生产力,浪费的增长才是毒药。 把模型当成聊天对象的人,每一步都在为冗余信息交税。 把模型当成工业流水线的人,已经把软件工程做成了一座零废料的自动化工厂。

引用 / CITATIONS

No citations exported.

同领域解读 / AI & LLMS

查看全部「AI 与大模型」解读 →

导出 / EXPORT

订阅 · SUBSCRIBE

每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。

不追踪邮件打开与邮件链接点击,一键退订。 或用 RSS · 详情