模型权重一个字节没改,推理算力直接砍掉整整三分之一。 怎么做到的? 把跑 3 遍,悄悄改成跑 2 遍。
模型权重一个字节没改,推理算力直接砍掉整整三分之一。 怎么做到的? 把跑 3 遍,悄悄改成跑 2 遍。 科技媒体《信息报》(The Information)此前爆出的大料,被微软官方文档实锤了。
微软在公开的技术文档里,白纸黑字写明了 GPT-6.1 Sol 的架构。 它和 GPT-6 Sol 采用完全相同的基模权重。 唯一的改动,就是把原本 3 次推理循环缩减到了 2 次。 文档甚至特意加了一句注脚:面向客户的公开发布中不提供详细架构信息。
这句欲盖弥彰的备注,直接坐实了传闻中的“循环 Transformer”(Looped Transformer)。 过去大模型拼性能,路子全靠堆层数。 从几十层一路往上叠到几百层,参数越来越沉,显存瞬间吃满。 循环架构怎么解? 层数不增加,让同一组权重像齿轮一样,把数据接过来循环多跑几遍。
这笔算力账极度划算。 从跑 3 遍降到跑 2 遍,每次调用的计算量当场砍掉三分之一。 权重完全复用,显存开销一点没多,推理延迟和服务器成本却被断崖式压缩。 按微软官方的说法,这种优化就是为了追求更极致的线上服务效率。
大模型的技术路线,正在发生极其隐蔽的转向。 顶级团队不再一味狂热地追求把模型做大,而是开始研究怎么把同一批参数反复榨干。 追求极限质量就多跑一圈,追求商用走量就少跑一圈。 OpenAI 在 GPT-6 时代藏得最深的技术底牌,就这么被微软白纸黑字地留在了网上。
翻译视频 / X 同步发布
近期实时流信号 / STREAM SIGNALS
返回实时流 →首发与规范引用:墓碑科技 MUBEITECH(https://mubeitech.com/p/2107287650881208694) · X 同步推文:https://x.com/i/status/2107348737437639138
导出 / EXPORT
订阅 · SUBSCRIBE
每周一封独立、不受审查的科技与 AI 深度评论与信号,周一发出。