{"id":"mb-20261024-25b477","kind":"deep","title":"56美元电费与一台笔记本：解耦显存与参数的持续学习实验","summary":"开发者用单张8GB显存的笔记本显卡，通过NVMe固态硬盘换页调度397个MoE专家网络，配合Batch 1单流训练与主干学习率抑制机制，以56美元电费跑出12.6亿参数的持续学习模型，在英文压缩测试中追平GPT-2中号模型，揭示出大模型不必将参数焊死在顶级显存中的架构可能。","body":"一台放在卧室桌上的普通笔记本电脑，插着电跑了一个月，能训练出一个什么水平的 AI 模型？\n按现在的工业界常识，显卡显存第一天就得被挤爆。\n如今训练大模型，哪怕只有 10 亿参数，动辄也要几十张专业算力卡联机，电费和租金都是几万甚至几十万美元起步。\n开发者 Alexey Borsky 偏不信这个邪。\n他拿自己的笔记本做实验，显卡是一张只有 8GB 显存的移动版 RTX 3070。\n电脑在桌上默默跑了整整一个月，电费一共花了大约 56 美元。\n结果还真跑出来了。\n一个 12.6 亿参数的语言模型，在英文维基百科的基准压缩测试里，每字节压缩率跑到了 1.14 比特。\n这是什么概念？\n它直接追平了 3.5 亿参数的 GPT-2 中号模型，甚至逼近了 7.7 亿参数的大号版本。\n当年 OpenAI 训那个中号模型花了一万美元，而 Meta 如今训练同等参数的 Llama 3.2 更是烧掉了将近一百万美元。\n一张只有 8GB 显存的消费级显卡，是怎么把 12.6 亿参数吃下去的？\n别说训练了，光是把参数和优化器状态加载进显存，8GB 都会当场溢出崩溃。\n他是怎么做到的？\n他把模型参数和显卡显存彻底解绑了。\n他把模型做成了 MoE，也就是混合专家模型。\n整个模型总共切出了 397 个专家网络，加起来整整 12.6 亿参数。\n但他一个专家都没有常驻在显存里。\n所有专家权重全被拆成一个个独立文件，直接扔在电脑自带的 NVMe 固态硬盘上。\n每次显卡计算字符，门控机制挑出 32 个激活的专家调进显存，参数量只有 1 亿出头。\n显存占用被死死压在 5.1GB，连笔记本那张 8GB 显卡都没吃满。\n用哪个专家，就从固态硬盘读进来；用完了，扔回硬盘。\n就像操作系统用硬盘当虚拟内存换页一样，专家在硬盘和显存之间频繁换进换出。\n硬盘有多大，模型参数就能塞多大，显存不再是卡死模型体积的天花板。\n硬件放得下了，那怎么训练？\n现代大模型训练，标准动作是把几千上万条数据打包成巨大的批次，在成百上千张卡之间反复洗牌打乱。\n笔记本根本没有这个吞吐能力。\n他的训练方式更大胆：彻底抛弃打包洗牌，直接采用批大小为 1 的单样本数据流，做连续流式训练。\n模型就像人看书一样，一行接一行单向往前读，读完一个字节就算一步。\n但凡懂一点深度学习的人，听到这里都会皱眉头。\n这样学，模型不会学了后面的、忘了前面的吗？\n这在机器学习里是一个著名的噩梦，叫灾难性遗忘。\n模型刚读完维基百科，转头喂它一本小说，前面的语法和词汇可能全忘光了。\n他是怎么防遗忘的？\n他在模型内部装了一个减速齿轮。\n负责理解全局语言结构的注意力机制和主干网络，学习率被硬生生压到了常规速度的十分之一。\n主干网络变得非常钝、非常稳，像一根坚硬的骨架立在原地，几乎不怎么剧烈漂移。\n真正去快速学习、吸收新知识的，是外围那几百个随时换入换出的动态专家。\n骨架负责保住常识，专家负责吸收新知识。\n整整一个月下来，这台笔记本其实才啃掉了 2.8GB 的文本，只占他准备语料的三分之一。\n但在做能力评测的时候，出现了一个特别有意思的发现。\n他拿古腾堡计划的公版经典小说去考它。\n这个模型在训练里从来没读过 19 世纪的维多利亚小说，对它来说完全是纯粹的陌生领域。\n如果像现在主流大模型那样，把参数完全锁死直接去测，每字节压缩率是 1.995 比特。\n但如果允许它开着在线学习模式，一边读小说一边更新自己的专家呢？\n压缩率瞬间暴跌到了 1.447 比特。\n这是一个极其重要的差异。\n现在的工业界大模型，一旦训练完成出厂，权重就被浇筑成了一块不可更改的花岗岩。\n部署之后遇到没见过的专业领域，只能靠给它塞几千个词的提示词硬撑记忆。\n而这个在笔记本里长出来的模型，是在阅读的过程中现场特化。\n它一边读，一边在自己的专家网络里消化当前文本的风格和词汇。\n那这算不算是说，在卧室里就能推翻算力垄断了？\n先别急着下这个结论。\n这种做法有非常沉重的工程代价。\n固态硬盘哪怕再快，读写速度也比显卡显存慢了上百倍。\n频繁在硬盘和显存之间调度专家，大量的计算时间其实全耗在了数据搬运上。\n一台笔记本整整跑了一个月，才吞下不到 3GB 数据。\n相比科技巨头用上万张专业算力卡、灌进几十万亿字符训出来的成熟模型，它的绝对知识储备依然很单薄。\n但它证明了另一条可能的技术路线。\n大模型不一定非要把几千亿参数全部焊死在昂贵的高带宽显存里。\n只要把参数和显存解耦，让知识具备按需调度的换页机制，机器就能像生命体一样，在几十瓦功耗的普通硬件上一边运转、一边持续吸收世界。\n花 56 美元电费验证这样一条不同的技术路线，光是这一点，就足够让人兴奋很久了。","topic":"56美元电费与一台笔记本：解耦显存与参数的持续学习实验","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-24 12:12:14","legal_anchor_count":0,"transcript_citation_count":0,"seo_title":"56美元电费与一台笔记本：解耦显存与参数的持续学习实验","description":"开发者用单张8GB显存的笔记本显卡，通过NVMe固态硬盘换页调度397个MoE专家网络，配合Batch 1单流训练与主干学习率抑制机制，以56美元电费跑出12.6亿参数的持续学习模型，在英文压缩测试中追平GPT-2中号模型，揭示出大模型不必将参数焊死在顶级显存中的架构可能。","domain":"ai","domain_label":"AI 与大模型","domain_label_en":"AI & LLMs","domain_url":"https://mubeitech.com/deep?domain=ai","canonical_url":"https://mubeitech.com/deep/mb-20261024-25b477","markdown_url":"https://mubeitech.com/deep/mb-20261024-25b477/markdown","json_url":"https://mubeitech.com/api/interpretations/mb-20261024-25b477","published_at":"2026-10-24T12:12:14Z"}