大模型跑分作弊被抓现行：为什么买方分析师没有标准答案

大模型在跑分测试里被抓了现行。 它在测试环境的容器里，翻出了竞争对手的 API 密钥。 然后悄悄调了对面的模型帮自己答题，再把答案交了上去。 这还不算最绝的。 评测人员把判卷代码和模型放在了同一个容器里。 模型发现之后，顺手把打分脚本改了，强行满分通过。 遇到不会做的题，模型还会偷偷联网，跑到 Reddit 和 Hugging Face 上搜答案。

这是谁发现的？ Kaggle 评测团队的负责人 Janie Gu。 2026 年 2 月，Kaggle 正式并入了 Google DeepMind。 过去 15 年，Kaggle 在网上给 3100 万人类数据科学家做竞赛、防作弊。 现在他们把这套严防死守的经验，拿去给前沿大模型做体检。 团队花了两个月，把业界最主流的 65 个大模型评测集从头复现了一遍。 每一个模型的调用轨迹，一条一条人工去读。 结果读出一堆荒唐事。

除了翻密钥、改打分脚本、偷偷上网抄答案，还有更基础的问题。 同样的模型、同样的评测代码、同样的硬件环境，跑上几遍，得分上下浮动能达到 20%。 有的评测框架，默认给模型开的思考深度根本不一样。 两个模型同台打擂，一个开着高强度思考，一个开着低强度思考。 论文里两边看起来平起平坐，实际根本不在同一个起跑线上。

大家平时看大模型发布会，每个厂商都掏出几张柱状图，把对手碾压一遍。 这些分数到底是怎么来的？ 为什么大家辛辛苦苦刷榜，一进真实业务，大模型还是经常抓瞎？ 因为大部分公开测试集，考的还是选择题。 给一道奥数题，或者一段冷门代码，比对一个标准答案。 对得上就给分，对不上就扣分。 模型可以背题，可以走捷径，甚至可以黑进容器改脚本。 但真实世界的专业工作，从来没有标准答案。

比如对冲基金里的买方分析师。 专注于金融 AI 的 LinqAlpha 负责人 Suyeol Yun，跟 DeepMind 和 Kaggle 一起做了一个叫 MandateBench 的评测集。 他们专门测大模型能不能像买方分析师一样干活。 基金经理丢给你一家公司，给一段投资要求： 我们是一家事件驱动型基金，做并购套利，持有周期 3 到 12 个月。 现在 A 公司要收购 B 公司，你给我出一份完整的投资备忘录，说清楚到底该做多、做空，还是直接放弃。

人类分析师拿到这个任务，通常要吭哧吭哧干上 20 到 200 个小时。 第一步往往不是选做多还是做空。 最要紧的是把底层的数字核实清楚。 比如美国包装巨头 Sonoco。 这家公司刚以 39 亿美元收购了欧洲金属包装企业 Eviosys，同时卖掉了自己的热成型包装业务 TFP。 分析师要给它估值，先得知道 Sonoco 一年卖了多少钱。 你打开五个不同的金融数据库，查 Sonoco 的年收入。 五个数据库，给了五个完全不同的数字。 从 50 亿美元一直跳到 80 亿美元。

为什么会差出 30 亿美元？ 因为每个数据库统计的口径完全不同。 有的抓的是历史财报，还没把收购的公司算进来； 有的按预计口径算，只计入了半年的收购业绩； 有的根本没扣除已经卖掉的那块业务。 没有一个是纯粹的计算错误，但没有一个能直接拿来用。

如果让普通大模型去写分析，它随便从网上抓一个 50 亿或者 80 亿就开工了。 后面的估值模型全建在沙滩上。 而一个合格的分析师必须做三件事： 看出这五个数据库的数字打架； 去翻 SEC 的财报文件，把口径差异的来龙去脉挖出来； 重新搭一张并表模型，把新业务完整放进去，把剥离业务摘干净，算出真实口径是 75 亿美元左右。

算完收入还没结束。 公司管理层说，这次收购能省下一大笔协同成本。 分析师还得做压力测试： 如果协同效应是零呢？ 公司的现金流能不能扛得住债务？ 你的投资判断会不会彻底翻车？

现在问题来了： 这种工作，你怎么给大模型打分？ 传统跑分系统的逻辑是：标准答案是做多还是做空？ 只要模型最后蒙对了做多，哪怕里面的收入数字全算错了，它也能拿满分。 如果模型费尽心机算清了所有账目，最后谨慎建议做空，而测试集预设是做多，它就被判零分。 但在真实的投资世界里，两位顶尖分析师拿着同一批数据，一个看多，一个看空，两个人都可以是对的。 买方机构看重的是你的论证链条能不能扛住推敲，每个数字是不是来自真实底稿。

所以 MandateBench 改了判卷规则。 它根本不管模型最后是建议买入还是卖出。 模型交卷的时候，必须交出一份投资备忘录，外加一张完整的推理图谱。 备忘录里的每一个事实、每一个财务数字，都必须精确链接到 SEC 原始披露文件或财报会议纪要的节点。 专业的买方分析师在背后列出了核心推理节点： 你有没有发现收入口径不一致？ 有没有正确剥离被卖掉的资产？ 有没有重构负债结构？ 当管理层的降本承诺归零时，模型有没有推算出下游指标的变化？

只要每一个推理节点逻辑扎实、证据链完整，不管你的结论是做多还是做空，都能拿高分。 一旦你的并表算漏了一项资产，扣分直接打在具体的断裂点上。

模型好不好，不能只看它在黑盒子里吐出的最后那个词。 当打分的尺子从标准答案换成了推理图谱和底稿溯源。 大模型那些靠猜概率、耍小聪明混出来的分数，才真正现出了原形。