英伟达刚用 4-bit 精度，跑完了一个 120 亿参数大模型的预训练。 喂进去的数据量是 10 万亿 token。 以…

英伟达刚用 4-bit 精度，跑完了一个 120 亿参数大模型的预训练。 喂进去的数据量是 10 万亿 token。

以前硅谷大厂卷模型，训练精度底线死死卡在 8-bit 甚至 16-bit。 谁都知道把数据精度再砍一半能省下海量显存。 但没人敢在预训练阶段碰 4-bit。 只要精度压到这个级别，模型训练就会极度不稳定，直接崩溃不收敛。

英伟达这次交了底牌，发了一套基于 NVFP4 格式的训练法。 他们把解决路径拆成了具体动作。 用随机阿达马变换把区块异常值按住。 上二维量化控制前向和反向传播的误差。 再配合随机舍入算法去抓取无偏梯度。

这套操作做完，长程训练稳住了。 实测跑出来的 MMLU-pro 测试成绩是 62.58%。 作为对照，用传统 8-bit 精度跑出的基线成绩是 62.62%。 两者只差了不到 0.05 个百分点。

精度少了一半，准确率几乎毫发无损。 这意味着同样的硬件，显存消耗直接砍半，算力性能翻了两到三倍。 英伟达已经把核心代码在 Transformer Engine 里加了支持。 下一代万亿参数模型的算力入场券，就这么被强行打了个对折。