{"id":"2107287650881208694","account":"mubei","brand":"@mubei","title":"模型权重一个字节没改，推理算力直接砍掉整整三分之一。 怎么做到的？ 把跑 3 遍，悄悄改成跑 2 遍。 科技媒体《信息报…","summary":"模型权重一个字节没改，推理算力直接砍掉整整三分之一。 怎么做到的？ 把跑 3 遍，悄悄改成跑 2 遍。 科技媒体《信息报》（The Information）此前爆出的大料，被微软官方文档实锤了。 微软在公开的技术文档里，白纸黑字写明了 GPT-6.1 Sol 的架构。 它和 GP…","body":"模型权重一个字节没改，推理算力直接砍掉整整三分之一。\n怎么做到的？\n把跑 3 遍，悄悄改成跑 2 遍。\n科技媒体《信息报》（The Information）此前爆出的大料，被微软官方文档实锤了。\n\n微软在公开的技术文档里，白纸黑字写明了 GPT-6.1 Sol 的架构。\n它和 GPT-6 Sol 采用完全相同的基模权重。\n唯一的改动，就是把原本 3 次推理循环缩减到了 2 次。\n文档甚至特意加了一句注脚：面向客户的公开发布中不提供详细架构信息。\n\n这句欲盖弥彰的备注，直接坐实了传闻中的“循环 Transformer”（Looped Transformer）。\n过去大模型拼性能，路子全靠堆层数。\n从几十层一路往上叠到几百层，参数越来越沉，显存瞬间吃满。\n循环架构怎么解？\n层数不增加，让同一组权重像齿轮一样，把数据接过来循环多跑几遍。\n\n这笔算力账极度划算。\n从跑 3 遍降到跑 2 遍，每次调用的计算量当场砍掉三分之一。\n权重完全复用，显存开销一点没多，推理延迟和服务器成本却被断崖式压缩。\n按微软官方的说法，这种优化就是为了追求更极致的线上服务效率。\n\n大模型的技术路线，正在发生极其隐蔽的转向。\n顶级团队不再一味狂热地追求把模型做大，而是开始研究怎么把同一批参数反复榨干。\n追求极限质量就多跑一圈，追求商用走量就少跑一圈。\nOpenAI 在 GPT-6 时代藏得最深的技术底牌，就这么被微软白纸黑字地留在了网上。","category":"其它","score":null,"translated_x_url":"https://x.com/i/status/2107348737437639138","translated_status_id":"2107348737437639138","published_at":"2026-10-06 05:11:56","created_at":"2026-10-06 05:02:03"}