{"id":"mb-20260919-4816f1","kind":"deep","title":"几十亿美元的 AI 护城河，为什么防不住几个 bit 的低成本蒸馏？","summary":"强化学习并未赋予模型新知识，而是对解题路径调高权重，其策略可被外界以极低信息量蒸馏。硅谷实验室在沙盒中追求高难度刷榜时，技术封锁反而倒逼出庞大的 API 中转站，将海量工程师的真实代码需求打包成完美的提示词分布，为跟跑者提供了低成本克隆的现成公路。","body":"把一个耗资几十亿美元训练出来的顶级 AI 彻底克隆一遍，需要多少关键信息？\n答案不是几万张高端显卡，也不是几千页机密代码。\n在信息论的度量下，可能只有几个 bit。\n只要这个模型在屏幕上多做几道题，整套核心能力就会顺着它的回答流出来。\n\n说出这个判断的人，是 ChatGPT 真正的幕后功臣之一。\nOpenAI 联合创始人、曾经一手主导了 InstructGPT 和 ChatGPT 强化学习体系的 John Schulman，最近在一场深度技术对谈里，把整个行业最值钱的技术底牌给掀开了。\n在他看来，硅谷顶级实验室投入天文数字筑起的高墙，正在被一种叫做“模型蒸馏”的机制迅速击碎。\n\n为什么耗资巨大的强化学习，这么容易被外界抄走？\n强化学习听起来高深，但在数学逻辑上干的事情极为纯粹。\n它没有往模型的大脑里塞进任何人类不知道的新知识。\n它只是在底层预训练模型庞大的可能空间里，把那些正确的推理路径调高权重。\n就像一个原本什么都懂但说话语无伦次的天才，被教练拿鞭子抽了几十万次，终于学会了规规矩矩地一步步列出解题步骤。\n大厂为了找到这套鞭策方法，要烧几万张显卡搭虚拟沙盒，养几百人的博士团队反复试错，付出极其惨烈的研发成本。\n可一旦模型把这种能力练成了，戏剧性的一幕就出现了。\n模型在输出窗口里吐出来的每一步思维链，都成了完全公开的解题轨迹。\n竞争对手根本不需要去重复那个烧钱的强化学习试错过程。\n他们只需要把这套思维轨迹抓下来，当作现成的标准答案，直接拿去微调自己的小模型。\n只要收集到足够多的优质轨迹，小模型就能瞬间学会顶级导师的思考框架。\n大厂几亿美元的试错成本，在外部看来，只是一份廉价的教学样题。\n\n那既然抄起来这么便宜，为什么不是随便谁都能做出来一个顶尖模型？\n这里卡着整台机器最隐秘的零件：\n提示词分布。\n你想让顶级模型当导师，你必须先知道该拿什么问题去问它。\n如果你拿一堆网上搜来的数学竞赛题去考它，你蒸馏出来的小模型就只会解数学题。\n一放到真实的写代码、调接口、多轮改错的工业环境里，立刻原形毕露。\n这就是研究人员最头疼的“刷榜过拟合”。\n很多实验室为了在测试榜单上跑出高分，拼命在沙盒里生成极度复杂但脱离现实的逻辑谜题。\n结果模型被训练得神神叨叨，动不动自我审查几十遍，生成堆积如山的废话，实际生产力却一塌糊涂。\n要想让模型具备真正干活的能力，关键不在于环境有多难，关键在于它有多真实。\n你必须拿到成千上万名真实工程师在每天工位上输入的真实需求、真实报错和真实上下文。\n这种沾满泥土的真实数据，藏在各家企业的深水区里，连硅谷大厂自己都很难完全掌握。\n\n这时候，整场博弈里最戏剧性的一幕发生了。\n为了阻止前沿技术外流，海外商业巨头全面封锁了针对中国地区的用户访问与商业接口。\n但数以百万计的国内程序员和科技团队，每天都需要借助前沿模型完成复杂的代码开发。\n需求没有消失，反而催生了极其庞大的第三方中转路由与代理生态。\n国内开发者通过这些中转服务，每天密集地调用着大洋彼岸的顶级模型。\n他们把最棘手的工程 Bug 扔进去，把最真实的业务逻辑放进去，一轮又一轮地调试代码。\n而那些隐匿在网络管道里的中转服务商，悄无声息地记录下了每一次请求。\n什么样的代码写崩了？\n哪个报错怎么修复？\n复杂的工程链路该如何重构？\n这些带着最鲜活业务场景、最具商业价值的真实提示词分布，被中转平台打包沉淀，转手送到了国内各大模型团队的训练管道前。\n原本是一道试图锁死技术的防御高墙，在商业流动性的冲刷下，反而反向喂养出了全球最密集、最接真实地气的程序员问题库。\n\n这就彻底解开了最近一年技术演进里最大的一个反常识谜团。\n为什么面对上万张显卡的算力差距，某些开源模型与新兴团队，依然能在真实编程和工具调用上紧咬前沿大厂的后背，甚至在日常手感上反超那些过度自我审查的闭源巨头？\n因为开拓者和跟跑者的成本结构彻底不对称了。\n前沿实验室要教模型理解人类程序员的复杂意图，得在黑暗森林里四处探索，花上亿美元搭建复杂的评估管道；\n而跟跑者不仅可以从同一批跨国数据公司手里买到同源的基底语料，还能借着中转站收集到的真实提问，把大厂打磨好的推理路径一键克隆下来。\n你踩过的每一个坑，都成了别人脚下的现成公路。\n\n但这台廉价的复制机器，也把所有人推向了一场隐秘的危机。\n当全世界的跟跑者都在顺着同一份提示词、蒸馏着同一个导师的推理路径时，一个严重的后果出现了：\n全球模型生态的同质化坍塌。\n几乎所有被蒸馏出来的开源模型，都患上了同一种语言癖好，带着同一种说话腔调，甚至踩进同一批逻辑盲区。\n只要源头的老师打个喷嚏，整条下游的开源阵营就集体感冒。\n更残酷的现实摆在眼前：\n蒸馏能让你用百分之一的成本换来九成的战斗力，但它在物理上无法让你超越那个被你模仿的对象。\n它是一张极其便宜的跟跑门票，也是一道死死卡在头顶的无形天花板。\n当开拓者意识到自己的技术被低成本穿透，开始逐步关闭思维链可见度、封死数据通道的那一天，\n那些习惯了在现成公路上狂奔的系统，还能不能靠自己在没有路标的荒原里走出下一步？","topic":"几十亿美元的 AI 护城河，为什么防不住几个 bit 的低成本蒸馏？","frame_type":["策略蒸馏与提示词分布倒流机制","机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-09-19 21:27:41","legal_anchor_count":0,"transcript_citation_count":0}