把 50 万个莎士比亚字符喂进浏览器，长出了一棵 164 万个节点的活树

把 50 万个莎士比亚字符喂进浏览器，长出了一棵 164 万个节点的活树。 每秒 60 帧，直接把大模型藏在黑盒里的骨架画了出来。 点一下「s-o-n」这个节点：出现 255 次，树深第 3 层，信息量 2.33 比特。 为什么是 2.33 比特？ 这串数字底下，藏着现代人工智能最底层的运转逻辑。 我们太习惯把大模型当成神秘的黑盒。 几千亿个参数，浮点数矩阵乘法，仿佛里面住着某种未知的意识。 但剥开所有算力包装，它在数学上到底在干什么？ 它在做一件事：根据前文，猜下一个字。 猜得越准，需要的信息量就越少。 这台机器的名字，叫上下文前缀树。 早在 1948 年，克劳德·香农提出信息论时，就给这套规律定了调。 1951 年，香农做了一个著名的猜字实验。 他让人按顺序猜一段英文的下一个字母。 如果 26 个字母加一个空格完全随机出现，猜一次需要 4.75 个比特。 但人类语言充满规律。 前面出现「s-o」，后面跟着「n」的概率极高。 不确定性瞬间瓦解，信息量直接从 4.75 比特被压缩到了 2.33 比特。 到了 1984 年，计算机学者克利里和威腾提出了部分匹配预测算法 PPM。 核心就是这棵上下文前缀树。 文本里出现过的每一个字符序列，都变成树上的一条路径。 每往前走一步，分支就变窄一次，概率就收紧一分。 这就是为什么顶尖科学家总说：压缩即智能。 所谓理解语言，本质上就是把无限可能的世界，压缩进这棵概率树里。 既然几十年前的算法就能做到，为什么今天还需要几千亿参数的神经网络？ 因为这棵树太能长了。 区区 50 万个字符，就能在浏览器里撑出 164 万个节点。 如果把人类所有的书籍、代码、网页全塞进去，整棵树的节点会瞬间击穿物理内存的极限。 大模型没有推翻这棵树。 它只是用数千亿个连续的权重参数，把这棵大到放不下的离散前缀树，高度拟合、打包封存进了显存里。 屏幕上那棵 164 万个节点的树，就是语言模型赤裸的骨架。 当所有人都在为算力和参数狂热的时候，这棵树安静地给出了答案： 智能从来不靠魔法发生。 它只是人类在概率的迷宫里，一步步把混乱压缩成确定性的痕迹。