{"id":"mb-20260831-92b4dc","kind":"deep","title":"一个只有 100 个神经元的网络层，硬塞进去了上万个完全独立的概念","summary":"一个只有 100 个神经元的网络层，硬塞进去了上万个完全独立的概念","body":"一个只有 100 个神经元的网络层，硬塞进去了上万个完全独立的概念。\n按直觉，一个神经元占一个坑，100 个神经元最多只能存 100 种信息。\n可你切开真实的大模型，会看到一片混乱的场面：同一个神经元，既对「法语动词」起反应，又对「金门大桥」放电，顺带还管着「维生素C」。\n这不是模型学傻了，也不是训练产生的噪音。\n它是一场经过精密计算的数学套利。\n2022 年，Anthropic 的 Nelson Elhage 和团队在一篇名为《Toy Models of Superposition》的研究里，把这台机器彻底拆了开来。\n秘密藏在两个词里：几何方向，和稀疏性。\n过去我们以为，神经元是独立的储物柜。\n但在模型眼里，概念从来不是一根根互相垂直的坐标轴，它们是一个个特定的空间方向。\n假设你只有 2 个神经元，也就是一张二维平面。\n如果所有概念时时刻刻都在发生，你在这张纸上最多只能画出两条互相垂直的轴。\n只要塞进第 3 个概念，它们就会疯狂打架，输出彻底变成一堆乱码。\n但现实世界的语言不是这样运转的。\n现实语义本身是高度稀疏的。\n一句话里提到「量子力学」的时候，极少有人会同时提到「红烧肉」或者「网球拍」。\n绝大多数概念在绝大多数时间里，激活强度都是零。\n稀疏性一把规则改写，数学的奇迹就出现了。\n那 2 个神经元不再死守两条 90 度的直角轴，它们把 5 个概念排成了一个规则的五角星。\n每一个概念的夹角变成了 72 度。\n它们彼此不再完全垂直，确实会产生微弱的互相干扰。\n但因为这 5 个概念极少同时出现，这点干扰产生的账单，远比「多塞进 3 个概念」带来的收益便宜得多。\n如果把这套逻辑推到真实大模型的几千维空间里呢？\n高维几何有一个违背常理的特性：在 1000 维的空间里，互相垂直的轴只有 1000 根。\n但彼此夹角在 89 度到 90 度之间、几乎互不干扰的「近乎正交」方向，可以有几百万个。\n只要语义足够稀疏，模型就能用几千个神经元，把几百万个概念同时打包封存。\n这就是为什么单个神经元看起来总在人格分裂。\n它根本不属于某一个具体概念，它是上百个高维方向共同借用这根轴留下的投影。\n这也解释了为什么过去的神经元可解释性研究举步维艰。\n盯着单个神经元去猜模型在想什么，就像拿着量角器对着两根直角坐标轴，硬要去读那颗五角星。\n你看到的当然全是不相关的碎片。\n模型最基本的认知单元从来不是神经元，它们是高维空间里的特征方向。\n机器没有按人类预想的储物柜逻辑去储存世界。\n它只是把现实概念的稀疏性，兑换成了一场极致的几何压缩。","topic":"一个只有 100 个神经元的网络层，硬塞进去了上万个完全独立的概念","frame_type":["稀疏重叠机制（Sparse Superposit","机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-08-31 20:21:48","legal_anchor_count":0,"transcript_citation_count":0}