一块 4 GB 显存的入门笔记本显卡，连一个 8B 大模型的底模都装不下

一块 4 GB 显存的入门笔记本显卡，连一个 8B 大模型的底模都装不下。 按照过去的标准，想在本地做微调，第一步就会撞上显存溢出。 但在最新的实测里，一个 8B 大模型在 4 GB 显卡上跑完了完整的微调流程。 全程峰值显存只有 3.32 GB。 只需要一份简单的配置文件。 显存容量是焊死在显卡上的物理硬件。 8B 模型的参数量也是固定的数学事实。 当模型体积明明大于显存物理上限，这额外的空间是怎么凭空变出来的？ 底层被打破的，是一条在深度学习里统治了十几年的默认假设。 显存常驻假说。 过去所有的训练框架，都把显存当成一个巨大的静态仓库。 整个模型的几十层神经网络、所有的权重和中间计算状态，必须从头到尾一股脑堆在显存里。 只要仓库装不下，整个训练程序就会立刻罢工。 但这台新机器换了一套完全不同的物理逻辑。 逐层流式传输。 大语言模型的本质，是几十层串联起来的解码结构。 比如一个标准的 8B 模型，通常由 32 层结构堆叠而成。 向前计算的时候，第一层算完了把结果交给第二层，第二层算完了交给第三层。 向后传递梯度的时候，也是从第 32 层一层一层倒着传回来。 在任意一个微秒里，真正处于计算状态的，永远只有当前这一层。 剩下的 31 层全都在显存里原地挂机。 把整栋大楼塞进显存，其实是在给 97% 的闲置权重交昂贵的占位税。 流式微调的做法，是把显存从静态仓库，改造成高速传送带。 它把 8B 模型的底层权重全部存放在电脑的主板内存甚至固态硬盘里。 显存里只留下当前正在计算的那一层，以及极轻量的微调适配器。 算到第一层，通过数据总线把第一层拉进显卡，算完立刻把权重释放。 算到第二层，再把第二层拉进来。 向后传递误差时，同样只把对应的那一层按需调入显卡。 显存不再负责存放整个模型，它只充当流水线上高速周转的操作台。 原本需要 10 GB 以上显存才能维持的常驻负载，瞬间被切碎成了几十个几百兆的微型任务。 3.32 GB 的显存峰值，就是这么来的。 天下没有免费的午餐。 它绕开了显存容量的物理墙，代价是把瓶颈转移到了总线的数据搬运速度上。 训练时间确实被拉长了。 但它在本质上完成了一次维度的置换： 用可以容忍的时间延迟，换掉了原本绝对无法逾越的硬件门槛。 它让微调的准入资格，从价值数万元的专业计算集群，沉降到了一台普通学生笔记本的本地终端。 当所有人都被困在显存参数的军备竞赛里时，底层的重构往往来自对运行机制的重新拆解。 计算并不要求所有事物同时在场。 只要流通的速度足够快，一张最窄的操作台，也能吞吐远超自身体积的庞然大物。