{"id":"2055130148614050264","account":"mubei","brand":"@mubei","title":"英伟达刚用 4-bit 精度，跑完了一个 120 亿参数大模型的预训练。 喂进去的数据量是 10 万亿 token。 以…","summary":"英伟达刚用 4-bit 精度，跑完了一个 120 亿参数大模型的预训练。 喂进去的数据量是 10 万亿 token。 以前硅谷大厂卷模型，训练精度底线死死卡在 8-bit 甚至 16-bit。 谁都知道把数据精度再砍一半能省下海量显存。 但没人敢在预训练阶段碰 4-bit。 只要…","body":"英伟达刚用 4-bit 精度，跑完了一个 120 亿参数大模型的预训练。\n喂进去的数据量是 10 万亿 token。\n\n以前硅谷大厂卷模型，训练精度底线死死卡在 8-bit 甚至 16-bit。\n谁都知道把数据精度再砍一半能省下海量显存。\n但没人敢在预训练阶段碰 4-bit。\n只要精度压到这个级别，模型训练就会极度不稳定，直接崩溃不收敛。\n\n英伟达这次交了底牌，发了一套基于 NVFP4 格式的训练法。\n他们把解决路径拆成了具体动作。\n用随机阿达马变换把区块异常值按住。\n上二维量化控制前向和反向传播的误差。\n再配合随机舍入算法去抓取无偏梯度。\n\n这套操作做完，长程训练稳住了。\n实测跑出来的 MMLU-pro 测试成绩是 62.58%。\n作为对照，用传统 8-bit 精度跑出的基线成绩是 62.62%。\n两者只差了不到 0.05 个百分点。\n\n精度少了一半，准确率几乎毫发无损。\n这意味着同样的硬件，显存消耗直接砍半，算力性能翻了两到三倍。\n英伟达已经把核心代码在 Transformer Engine 里加了支持。\n下一代万亿参数模型的算力入场券，就这么被强行打了个对折。","category":"科技","score":83.3,"percentile":80.5,"reason_tags":[],"translated_x_url":null,"translated_status_id":null,"published_at":"2026-05-15 06:24:35","created_at":"2026-05-15T05:36:24+02:00"}