微软四个月万名工程师实测:终端 AI 编程的真实产出与瓶颈
如果真把终端 AI 扔给几万名工程师用上四个月,到底能省多少事?
AI 厂商在宣传片里,动不动就说效率能翻好几倍、一个人顶一个团队。 微软最近做了一次真正的硬核实测。 他们把自家几万名工程师拉进测试池,在 2026 年初跟踪了整整四个月。 测的不是那种只在旁边补全代码的小插件,是能自己翻项目、改文件、跑测试的命令行智能体。 一边是 Anthropic 的 Claude Code,另一边是微软自己的 Copilot CLI。 这次不搞满意度问卷,也不听工程师自己怎么吹。 三位研究员 Emerson Murphy-Hill、Jenna Butler 和 Alexandra Savelieva 盯紧了后台的硬指标: 最后真正合并进主分支的代码合并请求(PR)。 测出来的数字,两家供应商大概都不会想印在自家的宣传幻灯片上。
整体算下来,用了智能体的工程师,合并的 PR 数量只增加了 24% 左右。 不是翻倍,也不是三倍,就是 24%。 有人可能觉得,在几万人的工程组织里,整体产出提升 24% 已经很了不起了。 但按时间把数据拆开,更有意思。 2 月份刚装上的时候,大家觉得新鲜,热情最高,PR 数量猛增了 29.4%。 到了 3 月和 4 月,热潮一退,数字马上回落到了 20.0%。 新鲜感一过,产出增幅就缩水了将近三分之一。
那是不是大家都不爱用? 也不是。 那些每周用 5 天以上的高频用户,合并的 PR 涨了 50.1%,提升非常直观。 而且两款工具干活的风格完全不同。 Claude Code 每次跑起来,改动的文件数量是 Copilot CLI 的 2.3 倍。 它更喜欢大开大合,一口气跨文件重构。
但最耐人寻味的,是这套工具到底怎么在几万人里传开的。 是管理层发全员邮件强制推行吗? 不是。 是组织了什么全员培训吗? 也不是。 全靠人传人。 研究员拉出内部协同关系网,发现了一个现象: 只要隔壁团队或者同级同事里,有超过四分之一的人在用终端智能体,其他人去试用的概率就会暴涨 216%。 程序员不信领导在全员会上的口号。 但只要看到隔壁工位上的同事几分钟搞定一个复杂任务,立刻就会回去照着装一个。
那试用完之后,谁留下来了? 很多人以为是老员工保守、新员工更愿意拥抱新技术。 数据拉出来一看,工龄、年龄、职级对长期留存率几乎没有任何影响。 刚入职一年的新人,试用概率也就稍微高了 11%,后续留存毫无差别。 决定一个人能不能用满两周的,只有一件事: 他手里的真实代码任务到底多不多。 如果一个人每天都在一线写业务、改代码,智能体在终端里就能实打实替他省时间。 如果他的主要工作是开会、画架构、协调需求,新鲜两天之后就会直接扔在一边。
既然高频用户能提升 50%,为什么整体产出就卡在 24% 这一档,翻不上去? 因为写代码从来只是软件工程里的一部分。 智能体在终端里噼里啪啦改了十几个文件,跑通了单元测试,但代码不能直接推向线上。 接下来呢? 同事得去读代码,得做代码审查,得评估架构风险,得测试会不会跟上下游系统冲突。 AI 把敲代码的机械时间压缩到了极致。 但人类团队互相验证、审查和沟通的吞吐量,存在物理上限。 写代码快了一倍,等同事审查代码的时间还是那么长。
更现实的制约在算力账单上。 终端智能体为了理清上下文,每次都要读一堆工程文件、反复调用大模型试错。 几万人规模的企业用下来,一年的代币消耗账单能冲到几百万美元。 三位研究员在论文里特别提醒了一句: 合并的 PR 变多了,只证明代码产出量增加了。 产出的代码变多,不等于给公司带来的真实业务价值变多。 工程师可能只是顺手把原本一个大任务拆成了好几个小 PR,或者顺手修了一堆以前懒得管的小缺陷。
当工具从演示视频走进几万人的真实工作流,决定上限的从来不是大模型能写多快,是人类团队消化代码的速度究竟有多快。
引用 / CITATIONS
No citations exported.
同领域解读 / SOFTWARE & ENGINEERING
导出 / EXPORT
订阅 · SUBSCRIBE
每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。