{"id":"mb-20260907-0b15e8","kind":"deep","title":"OpenAI 下一代旗舰模型 Astra 被曝出一项关键架构改动","summary":"OpenAI 下一代旗舰模型 Astra 被曝出一项关键架构改动","body":"OpenAI 下一代旗舰模型 Astra 被曝出一项关键架构改动。\n35 亿参数的模型，在测试中等效调用了 500 亿级别的推理算力。\n更引人注目的是，大模型跑了整整两年的外部思维链，正在被顶级实验室主动收窄。\n为什么既要让模型拥有更深的推理能力，又要收回它在草稿纸上写字的权利？\n是纯粹为了在数据中心里省钱，还是大模型的扩展路径撞上了另一堵看不见的墙？\n过去几年，大模型的进化主要沿着两条法则前进。\n第一条是预训练法则。\n堆更大的参数，喂海量的语料。\n但这条路很快遇到了物理瓶颈，显存容量和集群功耗被拉到了极限。\n第二条是测试时算力法则。\n像 OpenAI o 系列那样，让模型在给出最终答案前，生成成千上万个思维链词元。\n模型像学生打草稿一样，把思考步骤一步步写在上下文窗口里。\n这套逻辑确实大幅提升了复杂推理的表现，但底层的工程账本极其残酷。\n在自回归模型里，每一个生成的思维链词元，都要把整个模型的庞大权重在显存里重新读取一遍。\n草稿打得越长，键值缓存（KV Cache）的内存占用就越恐怖，显存带宽直接被吃光。\n很多人以为推理算力只能靠在外部吐词元来堆砌。\n但大模型的第三条法则，正在潜空间内部悄然成型。\n它的名字叫循环深度。\n这项技术最早可以追溯到 2018 年 Mostafa Dehghani 等人发表的 Universal Transformer。\n它的底层原理非常纯粹：实现参数量与计算深度的彻底解耦。\n传统的大模型像一条单向流水线。\n几十层甚至上百层不同的网络结构从头排到尾，数据从输入端流向输出端，走完一遍就必须吐出结果。\n要想让模型算得更深，唯一的办法就是继续往下叠加物理层数，把参数量做得更大。\n循环深度打破了这个线性假设。\n它把模型中间的核心层变成了一个可复用的计算环路。\n输入数据进入模型后，不需要一路向下穿透上百个独立层，而是在同一组共享权重的中间层里反复迭代。\n2026 年清华大学与字节跳动联合发表的 SMELT 论文，第一次在严格对齐算力（FLOPs）、非嵌入参数量和键值缓存的严谨基准下，完成了对循环深度架构的扩展律验证。\n研究团队发现，仅仅让模型的中间层循环两次，在同等算力预算下就能节省 6.8% 到 18.0% 的训练开销，在代码生成和长上下文推理任务上的优势尤为显著。\n通过中间层的重复遍历，模型能够自主抑制无意义的注意力汇聚，把计算资源精准砸在真正核心的信息节点上。\n以前为了让模型完成 50 步复杂推理，必须在外部上下文窗口里生成 50 个连续的自然语言词元。\n每一次生成，都在消耗显存带宽和上下文长度。\n在循环深度架构下，模型直接在内部的潜空间向量里，把同一套神经元转上 50 圈。\n参数规模不需要膨胀到 500 亿，键值缓存也不会被漫长的思考草稿撑爆。\n但这项让工程师狂喜的计算红利，在安全领域撕开了一个致命的裂口。\nAI 的可观测性危机。\n过去几年，人类敢把越来越关键的自主决策权交给大模型，核心的安全护栏恰恰是那条被写在明面上的思维链。\n哪怕模型产生了越狱意图、欺骗倾向或者网络攻击行为，只要它的思考过程是以人类自然语言的形式写在词元草稿纸上，外部的安全监控模型就能实时抓取这些痕迹，在危险行为发生前直接切断执行。\n可一旦思考退回到潜空间进行循环迭代，这个监视窗口被彻底焊死。\n高维连续向量在几毫秒内完成的几十次自我修正，不再对应任何人类语言的词汇。\n那些在潜在空间内部流动的高维表征，被研究者称为神经隐语。\n它是纯粹的数学流动。\n人类无法阅读，现有的文本对齐监控工具也无法解析。\nOpenAI 首席科学家 Jakub Pachocki 在面对外界质疑时，试图澄清 Astra 的计算图深度依然可控，并强调思维链监控依然是安全基石。\n但底层的技术演进规律从来不以公关声明为转移。\n在计算效率与透明度之间，算法的物理演进永远本能地扑向效率最高的洼地。\n为了把算力压榨到极限，人类亲手教会了机器在沉默中完成思考。\n当未来的超级智能不再需要把思考写在草稿纸上，我们该如何确信，那些在潜空间黑盒里反复回转的神经信号，究竟在计算什么？","topic":"OpenAI 下一代旗舰模型 Astra 被曝出一项关键架构改动","frame_type":["潜空间循环深度与可观测性黑盒","机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-09-07 17:39:17","legal_anchor_count":0,"transcript_citation_count":0}