{"id":"mb-20261022-0f1cb9","kind":"deep","title":"5万名工程师实测：换更聪明的AI模型，为什么救不了你的研发团队？","summary":"研发效能平台 Jellyfish 追踪了 447 家公司 5 万名工程师的真实开发数据。当 Cursor 大规模切换默认模型时，每周合并代码量毫无波动。统计方差拆解显示，AI 模型对代码产出的解释度不足 1%，而工程师个人功底、Token 消耗量、工作流技能配置以及团队评审流水线才是决定交付效率的核心支柱。","body":"把程序员手里的 AI 模型换成另一个，代码产出会变多吗？\n几乎一点都没变。\n\n这不是主观感觉。\n这是一次真实发生的大规模意外测试。\nCursor 之前调整界面，把大批用户默认切到了马斯克的 Grok。\n几万名工程师的模型偏好，在一夜之间被推着重置。\n研发效能平台 Jellyfish 顺手调出了 447 家公司、大约 5 万名工程师的实际工作数据。\n他们盯住了一个最硬的交付指标：每个程序员每周实际合并进主干的代码合并请求（PR）。\n结果散点图一拉出来，所有的点密密麻麻聚在零轴附近。\n换不换模型，实际交付代码的数量毫无统计学差异。\n\n各大模型天天在跑分榜上较劲，今天你多拿两分，明天我跑分反超。\n社交网络上也天天有人争论哪家模型写代码最强。\n怎么一到真实软件工程里，换了模型就像石沉大海？\n如果模型不起决定作用，那到底是什么在决定一个工程师能产出多少代码？\n\nJellyfish 的 AI 与研究主管尼古拉斯·阿尔科拉诺（Nicholas Arcolano）把这 5 万名工程师的代码吞吐量方差彻底拆了一遍。\n拆出来的统计账本，给所有天天盯着模型参数的人结结实实泼了一盆冷水。\n\n大家最关心的工具和模型本身，在整个产出差异里能解释的比例不到 1%。\n不管你是把 Claude 3.5 Sonnet 换成 Opus，从 ChatGPT 切到 Claude Code，还是从代码补全切到全自动代理模式。\n拉到长期数据上看，个人产出的波动几乎全是一条平线。\n\n真正开始拉开差距的，是你怎么用它。\n这一项占了大约 3%。\n你可能会想，3% 听起来也不算多？\n因为现实里绝大多数人根本没认真调过它。\n数据显示，将近一半的工程师使用 AI 时，基本没有任何自定义技能（Skills）或工作流规则；只有 12% 的人算得上高频使用。\n但只要你属于那些每周调用技能规则超过 30 次的高频用户，代码产出直接跳涨 30%。\n就像打高尔夫，光拿着好球杆没用，你得学会怎么把球从沙坑里救出来。\n\n再往上一层，是你到底用了多少算力。\n也就是你实际消耗的 Token 数量。\n这个因素占了 9%，影响力是模型本身的近十倍。\n这里的规律很像火箭燃料方程：更多的 Token 确实能换来更多产出，但边际收益在递减。\n一个在中位数的普通工程师，想把代码产出翻倍，大约需要消耗整整 10 倍的 Token。\n愿意让 AI 大量跑任务、疯狂烧算力的人，产出确实被实打实推上去了。\n\n但这还不是大头。\n比个人用不用 AI 影响更大的，是你身处哪家公司、哪个团队。\n这个环境因素占了整整 12%。\n其中三分之一来自团队，三分之二来自公司。\n哪怕两个工程师烧掉一模一样多的 Token、用一模一样的模型，排名前 10% 的公司和后 10% 的公司之间，人均代码产出直接相差整整 2 倍。\n为什么？\n因为软件工程从来不是一个人敲键盘那么简单。\n你的代码写完了，代码评审要卡几天？\n测试流水线要跑两小时还是五分钟？\n代码库里堆积了多少历史技术债？架构设计清不清晰？\n如果一个代码评审流程卡你三天，AI 在两秒钟内写好代码，对整条交付链条来说几乎没有任何意义。\n\n然后，就是整张图表里最庞大的一块：工程师自己。\n它解释了剩下将近 75% 的产出差异。\n排名前 10% 的顶级工程师和后 10% 的工程师之间，产出差距高达 3.5 倍。\n这时候大家最关心的一个问题来了：\nAI 到底有没有把程序员重新洗牌？\n那些过去不会写复杂架构的人，有了 AI 之后，能不能逆袭干掉老手？\nJellyfish 跟踪了 1 万名工程师跨越数年的长期数据，专门对比了 AI 普及前后顶尖工程师的流动率。\n在 AI 普及之前，表现最好的前 25% 顶尖工程师里，每半年大约有 44% 会因为各种原因滑出这个梯队。\n而在全员普及 AI 之后呢？\n滑出前 25% 的比例变成了 41%，反而更稳定了。\n顶尖高手没有被洗掉，反而把优势抓得更牢了。\n在没有 AI 的时代写代码厉害的人，到了 AI 时代，绝大多数依然是团队里最厉害的那批人。\n\n为什么会这样？\n因为把业务需求拆解成清晰边界、判断系统架构是否合理、一眼看出逻辑漏洞在哪里、知道系统在极端情况下会怎么崩溃，靠的从来不是打字速度，决定上限的是工程功底。\nAI 就像一把电锯。\n把一把更快的电锯塞到不会伐木的人手里，他不会瞬间变成老木匠，反而更容易锯到自己的脚。\n老木匠拿到了电锯，干活才会成倍地甩开所有人。\n\n很多人每天在网上追逐最新模型的跑分，把团队效率提不上去归咎于工具不够聪明。\n但 5 万名工程师的真实数据给出的账本很清醒：\n真正锁死产出的，从来不是今天用了哪家的大模型。\n是工程师的基本功，是如何沉淀工作流规则，以及团队那套拖沓的交付系统。\n球杆一直在变好。\n但打不进洞，往往真不是球杆的问题。","topic":"5万名工程师实测：换更聪明的AI模型，为什么救不了你的研发团队？","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-22 20:36:23","legal_anchor_count":0,"transcript_citation_count":0,"seo_title":"5万名工程师实测：换更聪明的AI模型，为什么救不了你的研发团队？","description":"研发效能平台 Jellyfish 追踪了 447 家公司 5 万名工程师的真实开发数据。当 Cursor 大规模切换默认模型时，每周合并代码量毫无波动。统计方差拆解显示，AI 模型对代码产出的解释度不足 1%，而工程师个人功底、Token 消耗量、工作流技能配置以及团队评审流水线才是决定交付效率的核心支柱。","domain":"ai","domain_label":"AI 与大模型","domain_label_en":"AI & LLMs","domain_url":"https://mubeitech.com/deep?domain=ai","canonical_url":"https://mubeitech.com/deep/mb-20261022-0f1cb9","markdown_url":"https://mubeitech.com/deep/mb-20261022-0f1cb9/markdown","json_url":"https://mubeitech.com/api/interpretations/mb-20261022-0f1cb9","published_at":"2026-10-22T20:36:23Z"}