人类学说话为何比大模型快百万倍？拆解千万亿参数背后的数据受限缩放定律

人类学说话，为什么比大语言模型快了一百万倍？ 这可不是开玩笑，是有研究团队把这笔账算出来了。

三四岁的小孩学会日常交流。 耳朵听到的语言数据，加起来大概只有两亿个词元。 两亿是个什么概念？ 现在训练一个大模型，动不动就要喂二十万亿个词元。 相当于把人类能找到的网页、图书和代码。 翻来覆去灌上好几遍。 按数据量算，人类学语言的样本效率，是大模型的一百万倍以上。

为什么差得这么悬殊？ 过去大家习惯归结为人脑的结构太神秘、学习算法太高级。 Q Labs 的一项研究，把这个问题倒过来算了一遍。

他们把人脑当成一个神经网络来看。 神经科学估算，成年人脑大概有 100 万亿个突触。 把一个突触看作模型的一个参数。 人脑就是一个 100 万亿参数的巨型网络。 用 100 万亿个参数，去学两亿个词元的数据。 算下来，人脑每 50 万个参数，才分到 1 个词元。

那现在的 AI 呢？ 2022 年 DeepMind 提出著名的 Chinchilla 定律。 它给行业算出来的最优配比，是 1 个参数配 20 个词元。 一个 1 万亿参数的模型，得吃 20 万亿个词元。

把两边的比例放在一起看： 大模型是 1 个参数硬吞 20 个词元。 人脑是 50 万个参数学 1 个词元。 两边一除，人类的学习效率比大模型高出一千万倍。 就算把眼睛看的、耳朵听到的全部日常信息都折算进去。 人脑的样本效率，依然领先大模型上百万倍。

很多从业者总觉得今天的千亿、万亿大模型大得吓人。 但要是拿生物大脑作对照，现在的模型不是太大了，是太小了。 现在的 AI，就像一个脑容量很小的学生。 被硬按在书桌前，死记硬背下整座图书馆。

既然模型做小了，直接把它吹大不就行了吗？ 没那么容易，因为前面的路被一堵墙挡住了。 那就是数据墙。 公网上高质量的人类文本，满打满算也就十几万亿个词元。 全世界顶尖实验室能扫到的干净语料，快被大家刮干净了。 按照原先的定律，参数和数据必须等比例增加。 如果数据量到顶了，模型大小也就只能停在原地。 数据不涨，盲目把模型做大，在旧理论看来纯粹是浪费算力。 AI 的演进好像撞上了天花板。

Q Labs 的研究员 Baron 和他的团队，重新算了这笔账。 看看在数据受限的现实里，到底该怎么训。 他们推演了一个反直觉的结论： 如果高质量数据固定在 5 万亿词元，而算力预算继续往上涨。 比如推到 10 的 29 次方浮点运算。 算力最优的选择，根本用不着把模型冻结在 1 万亿参数。 算法给出的指令很干脆：继续把模型做大。 而且膨胀的幅度相当惊人。 推出来的最优规模，直接指向了一个千万亿参数的庞然大物。 千万亿，英文叫 Quadrillion。 也就是 1000 万亿个参数。 这比旧定律推荐的模型规模，整整膨胀了 7000 倍。 这个时候，模型的参数体量才终于追平甚至超过了人脑。

但工程上的新麻烦马上就来了。 数据只有 5 万亿词元，模型却有 1000 万亿参数。 这就好比给一个记忆力极强的大脑，只发了一套试卷。 逼着它翻来覆去做好几十遍。 怎么防止它死记硬背？ 在算法里，这叫过拟合。 模型要是把每个标点符号的位置都背下来了，换一套题依然考零分。

怎么在有限的数据里训出千万亿参数的大家伙？ 论文给出了两套核心机制。 第一个动作，是给权重衰减大幅加码。 以往训练大模型，权重衰减参数基本是固定的。 但在千万亿参数反复刷同一批数据时。 权重衰减必须随着参数量和训练轮数，按幂律指数级暴涨。 只要神经元试图死记句子的字面细节，惩罚算法就一刀切下去。 强行砍掉死记硬背的连接，逼着模型只能去提炼最底层的因果规律。

第二个动作，是把模型集成作为一等公民。 团队不再把全部算力赌在一个单独的模型上。 团队在训练后半段采用周期性学习率。 在不同阶段采集模型的快照。 把不同周期的模型组合在一起，互相抵消偏见，把损失拉下来。

把这套逻辑推演到底，大模型的演进思路其实完全反过来了。 过去几年，大家习惯了用小脑子硬吞大数据，靠海量文本大力出奇迹。 但生物大脑指出了另一条路。 用庞大到不可思议的连接容量，在有限的生活经验里反复咀嚼。 公网数据见顶，未必是技术发展的终点。 把模型造得足够大，给它足够的容量去理解世界。 不用靠生吞几万亿句话。 这扇新大门，才刚刚推开一条缝。