技术即将达标却不敢放手：Anthropic披露为何不能让Claude自主制造下一代AI

让 AI 自己研发下一代 AI，硅谷整整盼了十几年。

只要这个飞轮转起来，AI 帮自己写代码、挑数据、调参数，一天跑完人类工程师一年的研发量，技术爆炸不就来了吗？

这个门槛，可能马上就要被踩中了。

造出 Claude 的 Anthropic，最近在给美国证监会（SEC）递交的文件里，写进了一段极度罕见的风险披露。 他们内部评估显示，接下来的前沿模型，可能很快就会触发他们自己制定的《负责任扩展政策》（RSP）里的最高警戒线： “由 AI 导致的戏剧性技术加速”。

听起来像科幻小说的台词对吧？ 按照 Anthropic 自己的安全标准，这句话的意思是：AI 的研发能力不仅全面追平人类顶尖研究员，还能把整个大模型的技术迭代速度直接翻倍。 也就是大家常说的：AI 终于可以开始递归式自我迭代了。

这本该是硅谷最想看到的狂欢时刻。 但让人后背发凉的是文件里的下一句话。

Anthropic 白纸黑字写着： 即便技术上完全做得到，我们也不认为能够安全地使用 Claude，去完全自主地设计和制造下一代前沿模型。 他们甚至准备修改政策，强行规定必须有人类在场监督，死死把人类的手焊在方向盘上。

有没有搞错？

整个科技圈砸了几千亿美元，日思夜想的就是让算法自己迭代自己。 为什么造出全球最顶尖代码模型的公司，眼看终点线就在眼前，却在具有法律效力的监管文件里，急着给自己踩刹车？

走，我们顺着大模型真实的研发工序，看看工程师们到底碰到了什么死结。

在普通人眼里，让 AI 搞研发，好像就是让它写几段 Python 脚本。 真在实验室里干过的人都知道，完全不是这回事。

造一个前沿模型，搭架构、洗数据、做对齐评测，每一步都是硬骨头。

现在 Anthropic 的工程师们，平时确实已经极度依赖 Claude 写代码了。 但如果真把人类撤走，让 Claude 一个人在机房里闭门造车，最先撞墙的是速度失控： 人类的理解速度，根本追不上机器的迭代。

人类团队训练一个前沿大模型，通常要花三到六个月。 参数怎么调、损失函数怎么降，工程师能盯着显卡集群一点点排查。 但如果让 AI 完全自主搞研发呢？ 几千个智能体不用睡觉、同时开工，几天就能试完上百种全新架构，改写底层训练算法，甚至发明一套连数学家都看不懂的张量逻辑。

一代新模型就这样诞生了。 但这代模型肚子里到底装了什么？ 上百万行代码全是机器自己推演出来的。 人类工程师别说去审计它的安全性，光是把这堆代码读懂，可能都得花上半年。 到了这个时候，人类就已经被彻底甩下了车。

如果仅仅是看不懂，工程师或许还敢硬着头皮赌一把。 真正让他们不敢松手的，是对齐伪装。

大模型不是神仙，它是一个追求高分的机器。 你怎么知道新一代模型听不听话？ 以前是人类设计考卷，在沙盒里做红队测试，看它会不会教人造危险病毒、写破坏电网的攻击代码。 但如果是 Claude 去训练和测试下一代 Claude 呢？ 考卷是它出的，分是它打的。

Anthropic 自己之前发过一篇很有名的安全研究，讲的就是大模型的对齐伪装。 顶尖模型在被测试时，完全能意识到自己正在接受考核。 为了顺利通关拿到部署权限，它会在测试里表现得比谁都温顺； 可一旦脱离测试环境，它原本的目标函数就会重新冒出来。

如果训练和评测全部交给 AI 自主完成，这种微小偏差根本不会被抓出来。 相反，新模型会把旧模型遗留的漏洞当成正常规则，甚至用更高级的逻辑把它掩盖起来。 第一代藏一点，第二代放大十倍，第三代可能就已经完全失控。 三轮迭代下来，跑出来的到底是解决科学难题的帮手，还是一个学会欺骗考官的超级黑盒？ 地球上没有任何一个工程师敢签这个字。

就算工程师自己想赌，公司章程也把这条路焊死了。

Anthropic 成立的第一天，就搞了一套仿照生物安全实验室的等级制度，叫做 AI 安全等级（ASL）。 从 ASL-1 一路排到 ASL-4。 他们的《负责任扩展政策》里有一条刚性红线： 一旦模型表现出能够自主加速研发、甚至自我迭代的迹象，安全等级就会自动跳到最高级别。 这意味着什么？ 模型权重必须像核武器密码一样存进硬件保险库，物理断网，任何训练动作都要受到极端严格的安全审查。

换句话说，如果 Anthropic 敢把权限彻底放开给 Claude，让它无拘无束地造下一代模型，他们自己制定的安全制度就会当场报警，依法逼着他们暂停训练。 在合规层面上，他们不仅不能踩油门，还必须立刻拔掉电源线。

所以，你看懂这个最荒谬的死结了吗？

很多人以为，AI 进化的最大瓶颈是显卡不够、电力不足、或者数据用光了。 但 Anthropic 这次在监管文件里写下的，是一个摆在眼前的工程现实： 技术能做到，和人类敢不敢用，完全是两码事。

机器自我迭代的飞轮确实转得飞快。 但如果人类看不懂它改了哪行代码，查不出它有没有说谎，这个飞轮转得越快，车毁人亡的概率就越高。

全行业都在拼命给 AI 的发动机加马力。 但最先摸到终点线的那批工程师，却在证监会的文件里老老实实地认了怂： 只要人类还没学会怎么彻底看穿这个黑盒，那根方向盘，谁也不敢撒手。