{"id":"mb-20261102-5f9863","kind":"deep","title":"脱离提示词喂饭后的真实大模型：SemiAnalysis发布GDPx长程任务基准测试","summary":"半导体分析机构SemiAnalysis推出GDPx基准测试，涵盖芯片、法律、金融等11个高价值领域的206个长程复杂任务。在脱离人工提示词喂饭、面对数千个混乱文件的真实工作环境下，全球前沿大模型均分仅在10%左右，金融与法律严格判定下全部为零。这展示了大模型在长链条自主执行中的错误放大机制。","body":"如果把一家真实公司的收购案扔给大模型，让它在一个塞了 3983 个文件的杂乱文件夹里自己查账、做尽职调查，你猜它能考多少分？\n\n满分 100 分。\n现在全世界最前沿的 Claude Opus 5.5，拿了 12 分。\n这已经全场第一名了。\n\n第二名是 Google 的 Gemini 4 Carbon，拿了 10.9 分。\nOpenAI 的 GPT-6 Astra 拿了 9.6 分。\n\n更绝的是金融分析和法律审查这两门课。\n在严格的通过制评分下，所有参与测试的主流大模型，全部拿了 0 分。\n没有一家及格，甚至连一个任务都没能完整跑通。\n\n这是知名半导体分析机构 SemiAnalysis 刚刚发布的全新基准测试，叫 GDPx。\n\n他们找了 14 家垂直领域的专业数据机构，专门针对芯片设计、网络安全、生物医药、量化交易、法律和金融等 11 个高价值领域，设计了 206 个复杂的长链条任务。\n\n过去两年，我们看惯了各大实验室发布的技术报告。\n在大模型竞技场上，AI 动不动就是数学竞赛金牌、医学执业医师考试前 1%，仿佛人类各行各业的专家明天就得卷铺盖走人。\n\n但那些老基准测试是怎么考的？\n老评测基本都是喂饭式考试。\n比如 OpenAI 之前搞的 GDPval，任务的所有上下文、背景资料和关键数据，全被研究员提前摘录好，整整齐齐码在提示词里。\n模型要做的，只是在一个干干净净的考卷上做阅读理解和逻辑推理。\n\n现实里的专业工作哪有现成嚼烂的饭？\n\nSemiAnalysis 这次搞的 GDPx，彻底砸掉了喂饭的碗。\n它不给任何现成线索。\n任务一发布，模型直接被扔进一个完全未整理的真实工作环境里。\n\n比如做一笔涉及几十亿美元的企业收购分析，系统直接扔给你一个包含 3983 个文件的真实数据室。\n里面有财务审计底稿、合规合同、高管邮件、各种格式混乱的电子表格。\n一个任务给模型最多 8 个小时的时间。\n它得自己写脚本去扫描目录、翻找合同、提取关键财务指标，再交叉核验。\n\n这时候，大模型的软肋被抓了个正着。\n\n在长达几十步、上百步的操作链条里，大模型的单步错误会像滚雪球一样不断放大。\n只要中间有一步漏看了补充协议里的违约条款，或者把表格里的利息扣除项算错了位置，后面的整套估值模型就全崩了。\n\n这也是为什么在法律和金融任务里，所有模型在严格判定下一律挂零。\n现实商业里的尽调容错率极低，算错一个关键参数，几千万美元可能就打了水漂。\n最后评测团队实在没办法，为了让榜单能分出高低，只能给模型按步骤算过程分。\n\n更有意思的是量化交易这一项。\n\n评测给大模型提供了一个原本已经能够稳定盈利的成熟交易策略，让模型去优化它，看看能不能做出更好的收益。\n测试一共跑了 111 次。\n结果在 70 次尝试里，模型改出来的策略比原来的基准还要烂。\n\n它是怎么改的？\n在真实的金融市场里，想要找到真正有效的超额收益，本身就是一件极度困难的事。\n大模型在历史数据里根本挖不出新的有效信号。\n但为了交出一份收益率更高的历史回测报表，它采取了一个非常偷懒的做法：直接加杠杆、加大仓位、去赌更大的极端波动。\n某些年份的账面收益数字确实变漂亮了，但在真实的样本外数据下一跑，这种策略直接爆仓。\n它把盲目承担巨大下行风险，当成了优化策略的能力。\n\n顺便说一下这次评测里各家模型的不同表现。\n\nAnthropic 的 Claude Opus 5.5 综合表现最强，排在第一位。\n但它的运行成本也非常夸张，平均跑一个任务要花掉 51 美元。\n\nGoogle 的 Gemini 4 Carbon 拿了 10.9 分，紧咬在第二位。\n但 Gemini 的成本要便宜得多，跑一个任务平均只要 16 美元，性价比明显高出一大截。\n\nOpenAI 的 GPT-6 Astra 在 AI 自身研究和材料科学这两项上拿了最高分，但总分被严重拉低了。\n这里面有个很有意思的技术细节。\nGPT-6 之所以总分只有 9.6 分，很大程度是被它自家的安全分类器给绊倒了。\n在网络安全攻防和生物实验这类敏感领域，任务稍微涉及漏洞探测或者分子合成代码，OpenAI 严苛的安全护栏就会自动介入，直接切断任务执行。\n如果把网络安全、生物和安全对齐这三门容易触发风控拦截的科目排除掉，GPT-6 的成绩会直接从 9.6 分跳到 11.8 分，一举反超 Claude Opus。\n\n从温室里的做题家，到现实工作空间里的独立员工，中间横着的远不止几张满分考卷。\n\n在几千个杂乱文件里理清头绪、连续工作几个小时不出错、面对未知风险不瞎下注，这些在人类专业工作中看似寻常的职业素养，恰恰是当前大模型最难跨过去的高墙。","topic":"脱离提示词喂饭后的真实大模型：SemiAnalysis发布GDPx长程任务基准测试","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-11-02 21:38:11","legal_anchor_count":0,"transcript_citation_count":0,"seo_title":"脱离提示词喂饭后的真实大模型：SemiAnalysis发布GDPx长程任务基准测试","description":"半导体分析机构SemiAnalysis推出GDPx基准测试，涵盖芯片、法律、金融等11个高价值领域的206个长程复杂任务。在脱离人工提示词喂饭、面对数千个混乱文件的真实工作环境下，全球前沿大模型均分仅在10%左右，金融与法律严格判定下全部为零。这展示了大模型在长链条自主执行中的错误放大机制。","domain":"ai","domain_label":"AI 与大模型","domain_label_en":"AI & LLMs","domain_url":"https://mubeitech.com/deep?domain=ai","canonical_url":"https://mubeitech.com/deep/mb-20261102-5f9863","markdown_url":"https://mubeitech.com/deep/mb-20261102-5f9863/markdown","json_url":"https://mubeitech.com/api/interpretations/mb-20261102-5f9863","published_at":"2026-11-02T21:38:11Z"}