杨立昆苏黎世理工演讲算账：为什么吞下全人类文本的大模型搞不出AGI？

大模型吞下人类四十万年的文字，总数据量才顶一个四岁小孩。

不少人一直指望靠着做大模型、喂合成数据，再加上强化学习，一路冲到通用人工智能。 图灵奖得主杨立昆最近在苏黎世联邦理工学院做了一次演讲。 他觉得这条路走不通。 他当场给台下算了一笔账。

现在的头部大模型，训练用了差不多三十万亿个 token，折合二十万亿个词。 一个 token 算三个字节，整套文本数据量大概是 10 的 14 次方字节。 差不多一百万亿字节。 这是个什么概念？ 一个人不吃不喝坐在那里看，要看整整四十万年。 人类文明能写下来的公开文字，基本上全被扫进去了。

读了四十万年的书，大模型该懂常识了吧？ 并没有。 它连一张餐桌都收拾不利索，更不知道把水杯推到桌子边上会掉下去摔碎。 你再看一个四岁的小孩。 话都还没说利索呢，在屋里到处跑，能跨过门槛，能堆积木，还会看家长的脸色。 这套生活经验是从哪来的？

杨立昆把小孩接收到的信息也给量化了一下。 四岁小孩醒着的时间，按每天十六个小时算。 人眼连着大脑，大概有两百万根视神经纤维。 每根纤维每秒传输大约一个字节。 靠眼睛看，加上耳朵听和双手摸，一个小孩长到四岁，吸收的感官数据刚好也是 10 的 14 次方字节。

数字完全一样，但里面装的东西彻底不同。 大模型花了几万张芯片算出来的，全都是排成一串的字符。 而小孩四岁前看进脑子里的，是高维度的三维物理空间。 有重力、有光影、有阻力、有碰撞，还有前后相扣的因果。 文字只是人类用来记录现实的压缩工具，带宽低得可怜。 几十万分钟的视频切成文字，信息量可能还赶不上小孩在客厅地上爬半小时。

这也解释了为什么大模型背了全人类的书，依然没有真正的世界模型。 它只是在算词语和词语之间出现的概率，从没碰过真正的物理世界。 光在文字的影子里把模型越做越大，根本补不齐物理现实这块拼图。 机器要想掌握常识，大概没办法只靠在书堆里算概率。 它得先学会像小孩一样，去亲手碰一碰这个世界。