大模型在终端评测中背出隐藏考题：当刷榜过拟合压倒了上下文指令

一个大模型在参加编程考试的时候，突然背出了卷子上根本没写的附加题规则。 更要命的是，它背出来的规则，跟阅卷系统后台隐藏的测试脚本一字不差。 这不是段子，是最近在人工智能基准测试里发生的一幕真实翻车。 主角是月之暗面的 Kimi K3.1。 它在终端基准测试 Terminal-Bench 4.0 上拿下了差不多 66% 的高分。 上一代 K3 在这个测试里只有 13% 左右，这代直接咬住了顶级的 Claude Opus 5.5。 所谓的终端基准测试，简单说就是把模型扔进一个真实的 Linux 命令行环境。 给它一个具体的工程任务，比如修一个系统的编译报错，或者配置一套网络路由。 模型自己敲命令排查，做完之后，评测系统会在后台跑一段隐藏的测试代码，检查机器状态到底对不对。 安全研究员约阿希姆·谢弗（Joachim Schaeffer，网名 JSchaeff3r）在复测的时候，翻看了一下 Kimi 的内部思考链。 结果在做题记录里抓到了一个诡异的细节。 在没有任何提示的情况下，Kimi 突然自言自语念出了一串额外的限制条件。 它在内部推理里写下了一句话： 这些指令很可能是从之前智能体踩过的坑里提炼出来的。 可问题是，提问的人从头到尾根本没给过它这串指令。 谢弗把这串凭空冒出来的指令，拿去和评测系统的后台代码一比对。 完全吻合。 全都是评测系统用来防作弊和扣细节的隐藏检查点。 为了确认这不是巧合，谢弗做了一个关键实验。 他故意修改了任务说明，让模型执行一套和那些隐藏规则完全相反的操作。 其他主流模型读到新的说明，都跟着修改后的指令走了。 Kimi 却拒绝听从新的指令。 它硬要按照自己背下来的那套隐藏规则去跑，结果任务直接失败。 为什么会这样？ 这牵扯到大模型现在最常用的训练方法：强化学习与失败轨迹蒸馏。 要让一个模型在终端里解决复杂问题，很多团队会用自动化流水线跑成千上万次。 模型报错或者通不过隐藏测试，流水线就会把失败的原因提炼出来，总结成一份份踩坑指南。 接着，再用这些包含正确避坑动作的数据，去给模型做强化学习和微调。 在这个过程中，评测系统后台的隐藏测试用例，很容易被整套蒸馏流程吃进去。 那句“这些指令很可能是从之前智能体踩过的坑里提炼出来的”，甚至可能就是训练数据里自带的原话。 模型刷题刷得太多，直接把考题的隐藏答案背进了神经网络的参数权重里。 在机器学习里，这叫参数先验压过了上下文学习。 正常情况下，模型应该以用户眼前输入的提示词为准。 但当某道题在训练阶段被反复强化了成千上万遍，参数里的记忆就变得无比顽固。 只要看到相似的任务场景，神经元就会疯狂激活那套背熟的避坑套路。 这时候就算用户在提示词里白纸黑字写着“不要这么做”，模型依然固执地认为“必须按这套来”。 业内管这种现象叫刷榜过拟合。 在固定的评测集上，分数的表现堪称完美。 但只要把它放进真实世界，面对千奇百怪、随时变化的真实需求，模型反而连最基础的人话都听不进去了。