显卡一张没加跑分暴涨10%:GLM 5.3与大模型后训练的算力逆袭
不从头烧显卡,大模型还能变强多少? 跑分直接涨了超过百分之十。 在复杂的逻辑推理和网络安全实战里,表现甚至像换了一代模型。 最关键的是,底座的架构和参数一动没动,从头预训练的显卡一张都没多烧。
半导体研究机构 SemiAnalysis 的分析师在复盘行业动态时,聊到了这个细节。 智谱的 GLM 5.3 出来的时候,他们团队也吃了一惊。 因为这个大版本根本没有花钱去从头重训底座,所有的跨越全靠后训练做出来的。 为什么这事在圈子里引起了这么大动静?
先看一眼大模型原本是怎么花钱的。 过去大家形成了一个固有印象:模型要升级,唯一的出路就是拼命砸钱买显卡。 从零开始做预训练,要把整个互联网的海量网页全部啃一遍。 几万张顶级显卡连在一起,日夜不停跑上几个月,几千万甚至上亿美元就这么烧进去了。 全世界能上这个牌桌的巨头屈指可数。 绝大多数行业公司看一眼算力账单,直接就绝望了,只能老老实实去买大厂的闭源接口。
但从零预训练解决的到底是什么? 它其实是在给模型铺通识底子。 就像让一个学生把图书馆里所有的杂书都翻了一遍,认了字,通晓了各种常识。 但他根本不知道在具体场景里怎么一步步解决复杂问题,遇到陷阱不会检查,更不懂得调用工具。 如果为了让他学会做事,又把整个图书馆重新买来翻一遍,成本就太荒谬了。
后训练干的事情完全不一样。 它不再大海捞针去塞海量垃圾网页。 它的精力集中在两件事上:精挑细选的高质量思维链,加上针对性的强化学习。 拿网络安全来说。 你不需要模型去背八卦新闻,直接把它扔进一个专门的虚拟靶场里。 给它一个目标,让它自己去尝试寻找系统漏洞、编写防护脚本。 做对了给正向反馈,做错了就换一条逻辑路径重新推演。 模型在成千上万次自我探索和反馈里,把复杂的推理链路一点点摸索清楚了。
最要命的是算力消耗。 做这种强化学习和专项微调,消耗的显卡资源,比从头预训练便宜太多了。 从零搞预训练可能要烧上万张卡跑半年。 在现成底座上做针对性的后训练,往往只需要几百张甚至几十张显卡跑上几天到几周。 算力开销直接降了几个数量级。 结果出来之后,高文尧和分析师们对比了前后的测试数据。 底座还是原来的底座,但在逻辑推理上跳升明显,网络安全攻防能力更是直接拉开了代差。
这件事给不少行业公司提了个大醒。 如果不打算去做通用搜索引擎,根本没必要去陪大厂卷那个几亿美元的预训练无底洞。 很多专业领域的机构,手里有积累多年的私有数据,有行业专家的工作流,有独一无二的业务验证环境。 直接拿一个顶级的开源底座,把所有的算力和精锐力量,全押在自己垂类的后训练上。 用强化学习把行业经验给它榨出来。 最后在自己的专业地盘里,这种模型的战斗力,反而能把昂贵的通用大模型打得满地找牙。
大模型下半场的较量,拼的已经不再是谁能融到几亿美元去买显卡。 拼的是看谁能把后训练的靶场搭得更精巧,谁能把手里的私有诀窍嚼得更透。
语义相关 / RELATED
同领域解读 / AI & LLMS
导出 / EXPORT
订阅 · SUBSCRIBE
每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。