DEEPgeneratedpublished

企业把日常业务交给 AI,月底收到的账单里,有八成其实是冤枉钱

提示词填塞税与动态模型路由机制

企业把日常业务交给 AI,月底收到的账单里,有八成其实是冤枉钱。 这个数字不是凭空捏造的。 AI 搜索独角兽 Glean 刚公布了一份针对 180 多个企业真实业务场景的评测。 在完成相同任务的前提下,企业用 Glean 的成本,比直接用 Anthropic 的官方助手 Claude Cowork 低了 81%。 消耗的 Token 数量,整整少了 70%。 两边用的都是 Anthropic 自己的顶尖模型。 Glean 调用的甚至是单价更高、性能更强的 Claude Opus 4.8。 Claude Cowork 跑的是带高推理模式的 Claude Sonnet 5。 为什么用更贵的模型,反而替企业省下了八成账单? 难道大模型巨头自己的官方应用,工程水平反而不如第三方软件? 把两套系统的调用链路拆开,会看到一台支配着大模型商业世界的隐形机器。 提示词填塞税。 当一家企业想让 AI 处理跨部门审批或财务核对,AI 必须先读懂内部数据。 大模型厂商做企业应用,最直接的工程解法,是把搜出来的相关文档一股脑塞进上下文窗口。 几万字、几十万字的原始邮件、聊天记录和表格,原封不动倒进模型。 这种粗暴做法在业内被称为蛮力上下文填塞。 接着,应用启动最顶格的高推理模型,把几十万字从头到尾扫描一遍。 每个字都在按输入 Token 计费。 每一步推演,都在消耗昂贵的高阶算力。 这背后是一台结构性的商业激励机器。 大模型巨头的底层模式,是向全行业售卖 Token 和算力。 客户消耗的 Token 越多,调用的模型越重,大模型厂商收到的账单就越厚。 让模型厂商主动帮企业剪枝上下文、压缩 Token 消耗,等于让电力公司研发节电器。 它在商业动机上缺乏动力把这件事做细。 Glean 这类企业中间件,切入的是完全不同的维度。 它的创始人 Arvind Jain 曾是 Google 资深工程师,也是数据管理独角兽 Rubrik 的联合创始人。 它的核心资产不在于训练基础大模型,在于搭建了一套企业图谱上下文层。 在把数据喂给大模型之前,它先用拓扑图谱把企业内部的知识、人际关系和权限安全梳理清晰。 AI 不需要硬吞几十万字的原始文档。 企业图谱会在毫秒级时间内精准定位到那几个核心数据节点,把无关噪音全部过滤。 进入模型的 Token 负荷,第一步就砍掉了七成。 随之运转的是第二道齿轮:动态模型路由。 企业任务并不全是复杂的长链条推理。 检索文档、核对日期、提取表格字段,交给廉价的小模型就能搞定。 只有在面临复杂的综合决策时,系统才把精炼后的线索,路由给顶级的 Opus 4.8。 轻重分流,按需分配。 整套任务跑下来,企业拿到了同样准确的交付,同时省去了八成以上的算力开销。 Booking.com、Intuit 和 Zillow 这些跨国巨头,正是在用真实的采购预算给这种效率投票。 很多人以为,AI 时代的终极壁垒是模型参数的大小。 谁的模型跑分最高,谁就能横扫企业软件市场。 真实的企业世界,只认交付质量和真实账单。 基础大模型正在加速演变成标准化的水和电。 当大模型本身越来越容易被替换,真正的护城河,已经转移到了模型上方的那层企业图谱里。 懂得如何把混乱的数据精准切片、懂得如何替客户看紧钱包的系统,才能在算力过剩的周期里扎下根来。

引用 / CITATIONS

No citations exported.

导出 / EXPORT

订阅 · SUBSCRIBE

新的深度解读发布时,会在每周简报里送到你邮箱。

不追踪邮件打开与邮件链接点击,一键退订。 或用 RSS · 详情