几十亿美元的 AI 护城河，为什么防不住几个 bit 的低成本蒸馏？

把一个耗资几十亿美元训练出来的顶级 AI 彻底克隆一遍，需要多少关键信息？ 答案不是几万张高端显卡，也不是几千页机密代码。 在信息论的度量下，可能只有几个 bit。 只要这个模型在屏幕上多做几道题，整套核心能力就会顺着它的回答流出来。

说出这个判断的人，是 ChatGPT 真正的幕后功臣之一。 OpenAI 联合创始人、曾经一手主导了 InstructGPT 和 ChatGPT 强化学习体系的 John Schulman，最近在一场深度技术对谈里，把整个行业最值钱的技术底牌给掀开了。 在他看来，硅谷顶级实验室投入天文数字筑起的高墙，正在被一种叫做“模型蒸馏”的机制迅速击碎。

为什么耗资巨大的强化学习，这么容易被外界抄走？ 强化学习听起来高深，但在数学逻辑上干的事情极为纯粹。 它没有往模型的大脑里塞进任何人类不知道的新知识。 它只是在底层预训练模型庞大的可能空间里，把那些正确的推理路径调高权重。 就像一个原本什么都懂但说话语无伦次的天才，被教练拿鞭子抽了几十万次，终于学会了规规矩矩地一步步列出解题步骤。 大厂为了找到这套鞭策方法，要烧几万张显卡搭虚拟沙盒，养几百人的博士团队反复试错，付出极其惨烈的研发成本。 可一旦模型把这种能力练成了，戏剧性的一幕就出现了。 模型在输出窗口里吐出来的每一步思维链，都成了完全公开的解题轨迹。 竞争对手根本不需要去重复那个烧钱的强化学习试错过程。 他们只需要把这套思维轨迹抓下来，当作现成的标准答案，直接拿去微调自己的小模型。 只要收集到足够多的优质轨迹，小模型就能瞬间学会顶级导师的思考框架。 大厂几亿美元的试错成本，在外部看来，只是一份廉价的教学样题。

那既然抄起来这么便宜，为什么不是随便谁都能做出来一个顶尖模型？ 这里卡着整台机器最隐秘的零件： 提示词分布。 你想让顶级模型当导师，你必须先知道该拿什么问题去问它。 如果你拿一堆网上搜来的数学竞赛题去考它，你蒸馏出来的小模型就只会解数学题。 一放到真实的写代码、调接口、多轮改错的工业环境里，立刻原形毕露。 这就是研究人员最头疼的“刷榜过拟合”。 很多实验室为了在测试榜单上跑出高分，拼命在沙盒里生成极度复杂但脱离现实的逻辑谜题。 结果模型被训练得神神叨叨，动不动自我审查几十遍，生成堆积如山的废话，实际生产力却一塌糊涂。 要想让模型具备真正干活的能力，关键不在于环境有多难，关键在于它有多真实。 你必须拿到成千上万名真实工程师在每天工位上输入的真实需求、真实报错和真实上下文。 这种沾满泥土的真实数据，藏在各家企业的深水区里，连硅谷大厂自己都很难完全掌握。

这时候，整场博弈里最戏剧性的一幕发生了。 为了阻止前沿技术外流，海外商业巨头全面封锁了针对中国地区的用户访问与商业接口。 但数以百万计的国内程序员和科技团队，每天都需要借助前沿模型完成复杂的代码开发。 需求没有消失，反而催生了极其庞大的第三方中转路由与代理生态。 国内开发者通过这些中转服务，每天密集地调用着大洋彼岸的顶级模型。 他们把最棘手的工程 Bug 扔进去，把最真实的业务逻辑放进去，一轮又一轮地调试代码。 而那些隐匿在网络管道里的中转服务商，悄无声息地记录下了每一次请求。 什么样的代码写崩了？ 哪个报错怎么修复？ 复杂的工程链路该如何重构？ 这些带着最鲜活业务场景、最具商业价值的真实提示词分布，被中转平台打包沉淀，转手送到了国内各大模型团队的训练管道前。 原本是一道试图锁死技术的防御高墙，在商业流动性的冲刷下，反而反向喂养出了全球最密集、最接真实地气的程序员问题库。

这就彻底解开了最近一年技术演进里最大的一个反常识谜团。 为什么面对上万张显卡的算力差距，某些开源模型与新兴团队，依然能在真实编程和工具调用上紧咬前沿大厂的后背，甚至在日常手感上反超那些过度自我审查的闭源巨头？ 因为开拓者和跟跑者的成本结构彻底不对称了。 前沿实验室要教模型理解人类程序员的复杂意图，得在黑暗森林里四处探索，花上亿美元搭建复杂的评估管道； 而跟跑者不仅可以从同一批跨国数据公司手里买到同源的基底语料，还能借着中转站收集到的真实提问，把大厂打磨好的推理路径一键克隆下来。 你踩过的每一个坑，都成了别人脚下的现成公路。

但这台廉价的复制机器，也把所有人推向了一场隐秘的危机。 当全世界的跟跑者都在顺着同一份提示词、蒸馏着同一个导师的推理路径时，一个严重的后果出现了： 全球模型生态的同质化坍塌。 几乎所有被蒸馏出来的开源模型，都患上了同一种语言癖好，带着同一种说话腔调，甚至踩进同一批逻辑盲区。 只要源头的老师打个喷嚏，整条下游的开源阵营就集体感冒。 更残酷的现实摆在眼前： 蒸馏能让你用百分之一的成本换来九成的战斗力，但它在物理上无法让你超越那个被你模仿的对象。 它是一张极其便宜的跟跑门票，也是一道死死卡在头顶的无形天花板。 当开拓者意识到自己的技术被低成本穿透，开始逐步关闭思维链可见度、封死数据通道的那一天， 那些习惯了在现成公路上狂奔的系统，还能不能靠自己在没有路标的荒原里走出下一步？