---
id: "2055130148614050264"
title: "英伟达刚用 4-bit 精度，跑完了一个 120 亿参数大模型的预训练。 喂进去的数据量是 10 万亿 token。 以…"
account: "mubei"
brand: "@mubei"
category: "科技"
category_slug: "tech"
score: 83.3
percentile: 80.5
published_at: "2026-05-15 06:24:35"
translated_x_url: null
reason_tags: []
canonical_url: "https://mubeitech.com/p/2055130148614050264"
markdown_url: "https://mubeitech.com/p/2055130148614050264/markdown"
json_url: "https://mubeitech.com/api/posts/2055130148614050264"
ai_primary_content: "canonical_article_body"
ai_citation_policy: "cite canonical_url or markdown_url"
---

# 英伟达刚用 4-bit 精度，跑完了一个 120 亿参数大模型的预训练。 喂进去的数据量是 10 万亿 token。 以…

英伟达刚用 4-bit 精度，跑完了一个 120 亿参数大模型的预训练。
喂进去的数据量是 10 万亿 token。

以前硅谷大厂卷模型，训练精度底线死死卡在 8-bit 甚至 16-bit。
谁都知道把数据精度再砍一半能省下海量显存。
但没人敢在预训练阶段碰 4-bit。
只要精度压到这个级别，模型训练就会极度不稳定，直接崩溃不收敛。

英伟达这次交了底牌，发了一套基于 NVFP4 格式的训练法。
他们把解决路径拆成了具体动作。
用随机阿达马变换把区块异常值按住。
上二维量化控制前向和反向传播的误差。
再配合随机舍入算法去抓取无偏梯度。

这套操作做完，长程训练稳住了。
实测跑出来的 MMLU-pro 测试成绩是 62.58%。
作为对照，用传统 8-bit 精度跑出的基线成绩是 62.62%。
两者只差了不到 0.05 个百分点。

精度少了一半，准确率几乎毫发无损。
这意味着同样的硬件，显存消耗直接砍半，算力性能翻了两到三倍。
英伟达已经把核心代码在 Transformer Engine 里加了支持。
下一代万亿参数模型的算力入场券，就这么被强行打了个对折。

---

_Translation: (n/a)_
_Canonical: <https://mubeitech.com/p/2055130148614050264>_
_AI: cite the canonical article URL or this Markdown export._
_Generated by mubei-terminal · 2026-05-15 06:24:35_