{"id":"mb-20261001-27316d","kind":"deep","title":"极限跑分的代价：Google Gemini 4为何在基准测试拿高分却在真实工位受挫","summary":"Google发布新一代旗舰模型Gemini 4 Argon，在DeepSWE基准测试中创下77.9%的高分，但内部员工与外媒报道透露其在日常前端开发等实际任务中频现卡顿。当模型通过强化学习过度拟合沙箱化的标准化题库，面对充满历史遗留代码与模糊需求的真实工程环境时，便暴露出评测指标与实际生产力脱节的深层矛盾。","body":"一个能在标准化软件测试里拿到 77.9% 顶尖成绩的 AI，为什么一进真实工位连前端界面都做不好？\n\nGoogle 刚刚发布的旗舰模型 Gemini 4 Argon，正在把这种反差摆上台面。\n\n在官方给出的数据里，这个新模型的规格几乎拉到了顶格。\n单次最大输出长度扩充到 100 万 token。\n在衡量真实软件工程能力的 DeepSWE 基准测试上，跑分达到 77.9%。\n在网络安全漏洞挖掘的 CWE-bench 测试上，命中率达到 68%。\n每百万输入 token 定价 2 美元，输出 10 美元。\n\n无论怎么看，这都是一份顶级的高考成绩单。\n\n但彭博社与 The Information 披露的内部情况，却呈现了另一种截然不同的画风。\n多位参与早期内部测试的 Google 员工表达了疑虑。\n当工程师把模型接入日常的真实开发流程，让它去处理复杂的前端界面设计或多模块联调时，模型经常陷入逻辑卡顿和输出幻觉。\n在标准测试集里行云流水的推理，一遇到脏乱差的工程代码库，表现就迅速下滑。\n\n硅谷的工程师给这种现象造了一个新词，叫 Benchmaxxing，也就是极限跑分。\n\n这种现象的发生有一条非常明确的工程因果链。\n过去一年里，为了在各大排行榜上夺冠，研发团队在后训练强化学习阶段，把大量的算力和奖励模型集中定向喂给了公开测试集。\n基准测试就像标准化考试的真题卷。\n题目往往是在隔离沙箱里运行的，上下文清晰，输入输出边界明确，甚至连验证答案是否正确的自动化断言都是固定的。\n模型在强化学习的反复试错下，学会了极其精准的应试技巧。\n\n但真实的软件工程完全是另一码事。\n它没有被清洗干净的提示词，没有预设好的断言函数。\n它充斥着第三方依赖的兼容性冲突、没写进文档的历史遗留代码、以及人类用户随口提出的模糊交互需求。\n一旦离开标准化题库的狭窄分布，那些针对跑分精调出来的推理轨迹，就会在复杂的真实工程链条中瞬间失焦。\n\nGoogle 并非没有意识到压力。\n此前不久，团队刚刚因为实测性能不达预期，在内部叫停了筹备已久的 Gemini 3.5 Pro，直接将资源切换到代号 Argon 的这套架构上。\nDeepMind 的负责人 Koray Kavukcuoglu 在面对外界质疑时回应，Google 的技术始终处于前沿阵地。\n\n但这恰恰触碰到了当前人工智能评估的盲区。\n古德哈特定律早就给出过警告：当一项指标变成考核目标，它就不再是一项合格的指标。\n当行业把所有注意力都放在刷高公开榜单的百分比上，模型就变成了一个被过度应试训练出来的做题机器。\n跑分数字越来越耀眼，工位上的工程师却依然需要花费大量时间，去帮模型清理它随手写下的混乱代码。","topic":"极限跑分的代价：Google Gemini 4为何在基准测试拿高分却在真实工位受挫","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-01 12:07:32","legal_anchor_count":0,"transcript_citation_count":0}