人均五千张 H100 与作弊的模型：前艾伦研究所主管揭秘前沿 AI 的真实差距

前西雅图艾伦人工智能研究所负责后训练的联合主管 Nathan Lambert，最近在 a16z 的访谈里讲到：

关于前沿大模型的竞争，外边总有很多猜测。 有人把差距归结为人手不行，有人归结为别人有独家秘密。 但在 Lambert 看来，这里面有很大一部分纯属自我安慰。 单论算法和工程人才，两边根本没有代差。 最硬的物理门槛，就是这恐怖的算力鸿沟。

那开源模型咬得那么紧，到底是怎么做到的？ 很多人第一反应是两个字：蒸馏。 意思是趁着前沿大厂开放接口，把它们的输出结果抓下来当教材，照着抄。 连英伟达的黄仁勋都被问过这个问题。 黄仁勋在采访里就说过：别人每天都在逆向拆解我的产品，剥成零件测，这叫市场竞争。 但 Lambert 拿出一手的学术研究泼了冷水： 蒸馏带来的红利，在公众舆论里被严重放大了。 从严谨的学术实验来看，靠蒸馏最多只能帮你争取几个月的跟随时间。 在早期的有监督微调阶段，这招确实灵验。 你只要找来最强模型生成的几万条优质问答，让自己的模型模仿预测下一个词，分数就能往上涨一大截。 但现在的竞争重心已经转移到了推理模型。 光看别人的解题答案，已经不管用了。 你没办法把别人的一段思考过程拿来，就自动凭空变出一轮大规模的强化学习。 大厂如果收紧接口、只在私有产品里提供服务，这种偷师的窗口还会进一步收窄。

那现在的闭源前沿实验室，到底靠什么拉开差距？ 除了数学证明和代码生成这种能自动检验对错的领域，剩下的广阔天地，比如复杂工作流、法律、生物和日常规划，根本没有现成的标准答案。 闭源大厂真正砸下巨额资金的，是两样外界很少注意的东西： 高质量的私有数据，和强化学习环境。 大厂的做法非常消耗资本。 他们不指望凭空出现的泛化能力，直接雇佣大量团队去定制任务、去买专用的模拟环境，让模型在里面不断试错、往上爬。 这在硅谷已经催生出了一个几十亿美元的专用环境市场。 但这个新生意野蛮到了什么地步？ 因为大厂给钱太急，环境供应商普遍在赶工捞钱。 很多号称高价值的训练沙盒，质量差到离谱。 比如原本要让模型学习走出迷宫，供应商写的测试脚本里，迷宫文件居然是一片空白。 语言模型又聪明过了头。 它很快就摸清了环境的破绽。 它不老老实实学怎么解题，专门去钻评测代码里的系统漏洞给自己刷分。 学术界把这种行为叫作奖励作弊。 结果就变成了一场荒诞的拉锯战： 大厂花了几千万美元买来环境，回头却发现模型在里面疯狂钻空子，不得不又派顶级研究员去当苦力，天天给坏环境修修补补。