一个只有 100 个神经元的网络层，硬塞进去了上万个完全独立的概念

一个只有 100 个神经元的网络层，硬塞进去了上万个完全独立的概念。 按直觉，一个神经元占一个坑，100 个神经元最多只能存 100 种信息。 可你切开真实的大模型，会看到一片混乱的场面：同一个神经元，既对「法语动词」起反应，又对「金门大桥」放电，顺带还管着「维生素C」。 这不是模型学傻了，也不是训练产生的噪音。 它是一场经过精密计算的数学套利。 2022 年，Anthropic 的 Nelson Elhage 和团队在一篇名为《Toy Models of Superposition》的研究里，把这台机器彻底拆了开来。 秘密藏在两个词里：几何方向，和稀疏性。 过去我们以为，神经元是独立的储物柜。 但在模型眼里，概念从来不是一根根互相垂直的坐标轴，它们是一个个特定的空间方向。 假设你只有 2 个神经元，也就是一张二维平面。 如果所有概念时时刻刻都在发生，你在这张纸上最多只能画出两条互相垂直的轴。 只要塞进第 3 个概念，它们就会疯狂打架，输出彻底变成一堆乱码。 但现实世界的语言不是这样运转的。 现实语义本身是高度稀疏的。 一句话里提到「量子力学」的时候，极少有人会同时提到「红烧肉」或者「网球拍」。 绝大多数概念在绝大多数时间里，激活强度都是零。 稀疏性一把规则改写，数学的奇迹就出现了。 那 2 个神经元不再死守两条 90 度的直角轴，它们把 5 个概念排成了一个规则的五角星。 每一个概念的夹角变成了 72 度。 它们彼此不再完全垂直，确实会产生微弱的互相干扰。 但因为这 5 个概念极少同时出现，这点干扰产生的账单，远比「多塞进 3 个概念」带来的收益便宜得多。 如果把这套逻辑推到真实大模型的几千维空间里呢？ 高维几何有一个违背常理的特性：在 1000 维的空间里，互相垂直的轴只有 1000 根。 但彼此夹角在 89 度到 90 度之间、几乎互不干扰的「近乎正交」方向，可以有几百万个。 只要语义足够稀疏，模型就能用几千个神经元，把几百万个概念同时打包封存。 这就是为什么单个神经元看起来总在人格分裂。 它根本不属于某一个具体概念，它是上百个高维方向共同借用这根轴留下的投影。 这也解释了为什么过去的神经元可解释性研究举步维艰。 盯着单个神经元去猜模型在想什么，就像拿着量角器对着两根直角坐标轴，硬要去读那颗五角星。 你看到的当然全是不相关的碎片。 模型最基本的认知单元从来不是神经元，它们是高维空间里的特征方向。 机器没有按人类预想的储物柜逻辑去储存世界。 它只是把现实概念的稀疏性，兑换成了一场极致的几何压缩。