5万名工程师实测：换更聪明的AI模型，为什么救不了你的研发团队？

把程序员手里的 AI 模型换成另一个，代码产出会变多吗？ 几乎一点都没变。

这不是主观感觉。 这是一次真实发生的大规模意外测试。 Cursor 之前调整界面，把大批用户默认切到了马斯克的 Grok。 几万名工程师的模型偏好，在一夜之间被推着重置。 研发效能平台 Jellyfish 顺手调出了 447 家公司、大约 5 万名工程师的实际工作数据。 他们盯住了一个最硬的交付指标：每个程序员每周实际合并进主干的代码合并请求（PR）。 结果散点图一拉出来，所有的点密密麻麻聚在零轴附近。 换不换模型，实际交付代码的数量毫无统计学差异。

各大模型天天在跑分榜上较劲，今天你多拿两分，明天我跑分反超。 社交网络上也天天有人争论哪家模型写代码最强。 怎么一到真实软件工程里，换了模型就像石沉大海？ 如果模型不起决定作用，那到底是什么在决定一个工程师能产出多少代码？

Jellyfish 的 AI 与研究主管尼古拉斯·阿尔科拉诺（Nicholas Arcolano）把这 5 万名工程师的代码吞吐量方差彻底拆了一遍。 拆出来的统计账本，给所有天天盯着模型参数的人结结实实泼了一盆冷水。

大家最关心的工具和模型本身，在整个产出差异里能解释的比例不到 1%。 不管你是把 Claude 3.5 Sonnet 换成 Opus，从 ChatGPT 切到 Claude Code，还是从代码补全切到全自动代理模式。 拉到长期数据上看，个人产出的波动几乎全是一条平线。

真正开始拉开差距的，是你怎么用它。 这一项占了大约 3%。 你可能会想，3% 听起来也不算多？ 因为现实里绝大多数人根本没认真调过它。 数据显示，将近一半的工程师使用 AI 时，基本没有任何自定义技能（Skills）或工作流规则；只有 12% 的人算得上高频使用。 但只要你属于那些每周调用技能规则超过 30 次的高频用户，代码产出直接跳涨 30%。 就像打高尔夫，光拿着好球杆没用，你得学会怎么把球从沙坑里救出来。

再往上一层，是你到底用了多少算力。 也就是你实际消耗的 Token 数量。 这个因素占了 9%，影响力是模型本身的近十倍。 这里的规律很像火箭燃料方程：更多的 Token 确实能换来更多产出，但边际收益在递减。 一个在中位数的普通工程师，想把代码产出翻倍，大约需要消耗整整 10 倍的 Token。 愿意让 AI 大量跑任务、疯狂烧算力的人，产出确实被实打实推上去了。

但这还不是大头。 比个人用不用 AI 影响更大的，是你身处哪家公司、哪个团队。 这个环境因素占了整整 12%。 其中三分之一来自团队，三分之二来自公司。 哪怕两个工程师烧掉一模一样多的 Token、用一模一样的模型，排名前 10% 的公司和后 10% 的公司之间，人均代码产出直接相差整整 2 倍。 为什么？ 因为软件工程从来不是一个人敲键盘那么简单。 你的代码写完了，代码评审要卡几天？ 测试流水线要跑两小时还是五分钟？ 代码库里堆积了多少历史技术债？架构设计清不清晰？ 如果一个代码评审流程卡你三天，AI 在两秒钟内写好代码，对整条交付链条来说几乎没有任何意义。

然后，就是整张图表里最庞大的一块：工程师自己。 它解释了剩下将近 75% 的产出差异。 排名前 10% 的顶级工程师和后 10% 的工程师之间，产出差距高达 3.5 倍。 这时候大家最关心的一个问题来了： AI 到底有没有把程序员重新洗牌？ 那些过去不会写复杂架构的人，有了 AI 之后，能不能逆袭干掉老手？ Jellyfish 跟踪了 1 万名工程师跨越数年的长期数据，专门对比了 AI 普及前后顶尖工程师的流动率。 在 AI 普及之前，表现最好的前 25% 顶尖工程师里，每半年大约有 44% 会因为各种原因滑出这个梯队。 而在全员普及 AI 之后呢？ 滑出前 25% 的比例变成了 41%，反而更稳定了。 顶尖高手没有被洗掉，反而把优势抓得更牢了。 在没有 AI 的时代写代码厉害的人，到了 AI 时代，绝大多数依然是团队里最厉害的那批人。

为什么会这样？ 因为把业务需求拆解成清晰边界、判断系统架构是否合理、一眼看出逻辑漏洞在哪里、知道系统在极端情况下会怎么崩溃，靠的从来不是打字速度，决定上限的是工程功底。 AI 就像一把电锯。 把一把更快的电锯塞到不会伐木的人手里，他不会瞬间变成老木匠，反而更容易锯到自己的脚。 老木匠拿到了电锯，干活才会成倍地甩开所有人。

很多人每天在网上追逐最新模型的跑分，把团队效率提不上去归咎于工具不够聪明。 但 5 万名工程师的真实数据给出的账本很清醒： 真正锁死产出的，从来不是今天用了哪家的大模型。 是工程师的基本功，是如何沉淀工作流规则，以及团队那套拖沓的交付系统。 球杆一直在变好。 但打不进洞，往往真不是球杆的问题。