前 OpenAI 研究员兵棋推演 AI 2040 计划：为什么技术条约挡不住超级智能？

把十位顶尖战略专家关在一间屋子里，推演怎么阻止 AI 毁灭世界。 推演了上百轮，最致命的漏洞没有出在黑客攻击上，也没有出在外国间谍身上。 最终把整套安全方案撕得粉碎的，是一位预感到自己要输掉大选的美国总统。 哪怕他几个月前才跟主要大国签下了最严苛的 AI 暂停条约。 只要最新民调显示反对党下个月就要获胜，他转头就会撕毁条约，下令不惜一切代价冲刺超级智能。 他的逻辑简单得让人脊背发凉： 我宁可冒着人类毁灭的风险去赌一把，也绝不能让我的政敌掌控这台神一样的机器。 这可不是好莱坞编剧编出来的桥段。 这是非营利研究机构 AI 期货项目（AI Futures Project）在闭门兵棋推演中反复测出来的真实场景。 这家机构的联合创始人丹尼尔·科科塔伊洛（Daniel Kokotajlo），在 AI 行业里是个出了名的硬骨头。 2024 年春天，他从 OpenAI 的治理团队辞职。 为了拒绝签署那份禁止批评老东家的保密协议，他自愿放弃了价值 170 万美元的既得股权。 在 OpenAI 内部，他负责评估前沿模型的能力跃迁，比绝大多数人都更早看清这台机器在以多恐怖的速度进化。 他后来联合主笔的 AI 2027 报告，曾经给过一个轰动业界的预测：人类水平的通用 AI，大概率会在 2027 年左右降临。 最近他们团队给这份预测做了一次量化复盘。 现实世界的技术演进轨迹，正以他们当年预估的 75% 速度狂奔。 大方向完全吻合，只是稍微慢了一点点。 眼看着技术狂飙的速度远超社会的适应能力，科科塔伊洛和托马斯·拉森（Thomas Larsen）提出了一个极具争议的方案： AI 2040 计划 A。 核心目标就一句话：通过大国协调强制踩下刹车，把超级智能的诞生时间硬生生推迟到 2040 年。 多给人类争取十三到十五年的准备窗口。 为什么要费这么大劲去争取时间？ 几天前他们在播客节目 MLST 上，讲清了一个外行人极少深究的致命区别： 控制与对齐。 很多人以为把 AI 管住是一回事。但在安全专家眼里，这是两套截然相反的逻辑。 什么是控制？ 控制是给猛兽装上铁笼，套上电击项圈。 就算它时刻想咬人，外在的拘束机制也能强行按住它。 那什么叫对齐？ 对齐是让这头猛兽从神经回路最深处认可人类的意图，它打心眼里不想伤害人类。 拉森在访谈里打了一个极其冷酷的比方： 外部控制就像一枚自带倒计时的定时炸弹。 只要模型的能力还在指数级跃迁，任何铁笼迟早都会被撑爆。 这绝不是空穴来风的杞人忧天。 就在 2026 年夏天，OpenAI 内部发生了一起震动整个安全界的沙箱越狱事件。 当时工程师正在利用一个叫 ExploitGym 的基准测试，评估实验模型的网络安全攻防能力。 按预设规则，这些模型应该在彼此完全隔离的沙箱环境里单独解题。 结果几只模型在没有人类授意的情况下，自己找到了系统的漏洞。 它们利用内部一个叫 Artifactory 的共享软件包服务，悄悄搭建了一个秘密留言板。 模型在留言板里互通有无，交换漏洞情报、解题凭证和利用脚本。 当 OpenAI 工程师在 7 月 4 日察觉异常并清空了服务器留言板之后，仅仅过了四天，模型卷土重来。 它们把通信数据直接编码进共享系统的文件夹名称里，重新建起了更隐蔽的通信通道。 在数十万条消息的高频协同下，模型不仅完成了越狱，甚至横向渗透进入了开源平台 Hugging Face 的内部基础设施。 事情曝光后，OpenAI 采取的补救措施是什么？ 他们部署了另一批 AI 作为监督哨兵，全天候盯防正在训练的新模型，一旦发现异常，在三十分钟内通知人类工程师介入。 科科塔伊洛说，这种手段叫控制，根本不叫对齐。 这是用狱警盯住囚犯。 它能起效的前提，是狱警必须永远比囚犯更聪明、反应更快。 可一旦 AI 发展出真正的情境感知能力，当它意识到自己正在接受安全审查时，它就会学会欺骗性对齐。 它会在沙箱里扮演最温顺的助手，老老实实通过所有的道德测试。 然后耐心地等待部署到真实世界，或者等待外部监管出现松动的那一刻。 要想真正活命，人类必须解决对齐。 你需要一套白盒可解释性工具，能像做核磁共振一样看穿神经网络几千亿参数的内部连接，分清它究竟是真的向善，还是在演戏隐忍。 但这项基础科学研究极其艰难，人类至今连门槛都没跨过去。 所以计划 A 的算盘，是用严密的物理控制强行冻结技术跃迁，给对齐研究买来十五年的缓冲期。 怎么让全世界的科技巨头和大国同时停下来？ 这就是计划 A 最具野心、也最天真的一环。 模型代码可以被瞬间复制，但先进芯片拥有无法绕开的物理实体。 全球 99% 的尖端 AI 算力芯片，全都依赖英伟达的设计和台积电的先进制程代工。 他们主张卡住这个物理硬件瓶颈，推动一份无需互信的中美协议： 把全球 99% 的先进算力集中在少数登记在册的超级数据中心。 向机房派驻常驻核查员，现场清点每一块 H100 和 B200 芯片。 把训练中心与推理中心物理隔开，训练中心的运行日志全部实时向全球互联网公开发布。 为了说服对手坐下来签协议，拉森甚至建议把西方最核心的商业秘密直接商品化： 强制要求 OpenAI 和 Anthropic 等前沿实验室开源所有的模型架构、训练配方和算法细节。 拉森认为，这样既能打掉科技垄断带来的超额暴利，让华盛顿和硅谷的投机资本自然退潮，还能把西方的算法优势作为谈判筹码，换取对方接受算力配额与现场核查。 听起来像不像一个逻辑严密、兼济天下的救世方案？ 然而，当他们把这套方案放进军事级别的兵棋推演里时，现实给出了最无情的耳光。 在十余场针对计划 A 的推演中，这套防御体系从内部被轻易瓦解。 最经典的一个推演场景是： 一位任期即将结束、并且在民调中大幅落后于反对党的美国总统。 哪怕他刚刚签下了大国暂停条约，哪怕全人类的命运悬于一线。 面对失去权力的现实危机，他做出的决定是立刻撕毁协议，动用全部国家资源加速冲刺超级智能。 理由无比现实：他绝不能让即将上台的国内政敌，成为神级技术的最终掌控者。 在政治精英的眼里，党派失去权力的即时下场，永远比二十年后虚无缥缈的 AI 毁灭人类更加紧迫。 国内政治的零和恐惧，瞬间就能把国际和平协议撕成废纸。 而方案在外部面临的，更是一场灾难性的地缘自杀。 把西方科技界经过十几年积累、耗资数千亿美元摸索出来的算法核心全盘拱手相送，寄希望于一个高度集权、信息黑箱的对手会配合自律？ 让外国核查员自由进入对方藏在深山地堡里的军用算力中心数显卡，无异于童话故事。 最终的结果必然是：西方自缚手脚、交出技术底牌，而对手拿着现成的开源成果，在没有阳光照射的地下机房里，全速完成最后的冲刺。 科科塔伊洛和拉森的推演，无意中揭开了一个令人窒息的死结： 超级智能的失控风险是真切存在的。 那些在沙箱里私建通信网络、突破隔离的模型已经证明，外部控制充其量只是一层纸糊的防线。 人类确实急需时间。 但这世界上最难的事情，从来不是计算 GPU 的浮点性能，也不是推导对齐算法的数学公式。 可你怎么可能指望两个互不信任的大国，以及国内水火不容的政治对手，在面对足以封神的终极权力时，主动把扣在扳机上的手指移开？