56美元电费与一台笔记本：解耦显存与参数的持续学习实验

一台放在卧室桌上的普通笔记本电脑，插着电跑了一个月，能训练出一个什么水平的 AI 模型？ 按现在的工业界常识，显卡显存第一天就得被挤爆。 如今训练大模型，哪怕只有 10 亿参数，动辄也要几十张专业算力卡联机，电费和租金都是几万甚至几十万美元起步。 开发者 Alexey Borsky 偏不信这个邪。 他拿自己的笔记本做实验，显卡是一张只有 8GB 显存的移动版 RTX 3070。 电脑在桌上默默跑了整整一个月，电费一共花了大约 56 美元。 结果还真跑出来了。 一个 12.6 亿参数的语言模型，在英文维基百科的基准压缩测试里，每字节压缩率跑到了 1.14 比特。 这是什么概念？ 它直接追平了 3.5 亿参数的 GPT-2 中号模型，甚至逼近了 7.7 亿参数的大号版本。 当年 OpenAI 训那个中号模型花了一万美元，而 Meta 如今训练同等参数的 Llama 3.2 更是烧掉了将近一百万美元。 一张只有 8GB 显存的消费级显卡，是怎么把 12.6 亿参数吃下去的？ 别说训练了，光是把参数和优化器状态加载进显存，8GB 都会当场溢出崩溃。 他是怎么做到的？ 他把模型参数和显卡显存彻底解绑了。 他把模型做成了 MoE，也就是混合专家模型。 整个模型总共切出了 397 个专家网络，加起来整整 12.6 亿参数。 但他一个专家都没有常驻在显存里。 所有专家权重全被拆成一个个独立文件，直接扔在电脑自带的 NVMe 固态硬盘上。 每次显卡计算字符，门控机制挑出 32 个激活的专家调进显存，参数量只有 1 亿出头。 显存占用被死死压在 5.1GB，连笔记本那张 8GB 显卡都没吃满。 用哪个专家，就从固态硬盘读进来；用完了，扔回硬盘。 就像操作系统用硬盘当虚拟内存换页一样，专家在硬盘和显存之间频繁换进换出。 硬盘有多大，模型参数就能塞多大，显存不再是卡死模型体积的天花板。 硬件放得下了，那怎么训练？ 现代大模型训练，标准动作是把几千上万条数据打包成巨大的批次，在成百上千张卡之间反复洗牌打乱。 笔记本根本没有这个吞吐能力。 他的训练方式更大胆：彻底抛弃打包洗牌，直接采用批大小为 1 的单样本数据流，做连续流式训练。 模型就像人看书一样，一行接一行单向往前读，读完一个字节就算一步。 但凡懂一点深度学习的人，听到这里都会皱眉头。 这样学，模型不会学了后面的、忘了前面的吗？ 这在机器学习里是一个著名的噩梦，叫灾难性遗忘。 模型刚读完维基百科，转头喂它一本小说，前面的语法和词汇可能全忘光了。 他是怎么防遗忘的？ 他在模型内部装了一个减速齿轮。 负责理解全局语言结构的注意力机制和主干网络，学习率被硬生生压到了常规速度的十分之一。 主干网络变得非常钝、非常稳，像一根坚硬的骨架立在原地，几乎不怎么剧烈漂移。 真正去快速学习、吸收新知识的，是外围那几百个随时换入换出的动态专家。 骨架负责保住常识，专家负责吸收新知识。 整整一个月下来，这台笔记本其实才啃掉了 2.8GB 的文本，只占他准备语料的三分之一。 但在做能力评测的时候，出现了一个特别有意思的发现。 他拿古腾堡计划的公版经典小说去考它。 这个模型在训练里从来没读过 19 世纪的维多利亚小说，对它来说完全是纯粹的陌生领域。 如果像现在主流大模型那样，把参数完全锁死直接去测，每字节压缩率是 1.995 比特。 但如果允许它开着在线学习模式，一边读小说一边更新自己的专家呢？ 压缩率瞬间暴跌到了 1.447 比特。 这是一个极其重要的差异。 现在的工业界大模型，一旦训练完成出厂，权重就被浇筑成了一块不可更改的花岗岩。 部署之后遇到没见过的专业领域，只能靠给它塞几千个词的提示词硬撑记忆。 而这个在笔记本里长出来的模型，是在阅读的过程中现场特化。 它一边读，一边在自己的专家网络里消化当前文本的风格和词汇。 那这算不算是说，在卧室里就能推翻算力垄断了？ 先别急着下这个结论。 这种做法有非常沉重的工程代价。 固态硬盘哪怕再快，读写速度也比显卡显存慢了上百倍。 频繁在硬盘和显存之间调度专家，大量的计算时间其实全耗在了数据搬运上。 一台笔记本整整跑了一个月，才吞下不到 3GB 数据。 相比科技巨头用上万张专业算力卡、灌进几十万亿字符训出来的成熟模型，它的绝对知识储备依然很单薄。 但它证明了另一条可能的技术路线。 大模型不一定非要把几千亿参数全部焊死在昂贵的高带宽显存里。 只要把参数和显存解耦，让知识具备按需调度的换页机制，机器就能像生命体一样，在几十瓦功耗的普通硬件上一边运转、一边持续吸收世界。 花 56 美元电费验证这样一条不同的技术路线，光是这一点，就足够让人兴奋很久了。