---
id: "mb-20260831-92b4dc"
kind: "deep"
title: "一个只有 100 个神经元的网络层，硬塞进去了上万个完全独立的概念"
topic: "一个只有 100 个神经元的网络层，硬塞进去了上万个完全独立的概念"
source_type: "generated"
status: "published"
generated_at: "2026-08-31 20:21:48"
frame_type: ["稀疏重叠机制（Sparse Superposit", "机制"]
legal_anchor_count: 0
transcript_citation_count: 0
---

# 一个只有 100 个神经元的网络层，硬塞进去了上万个完全独立的概念

一个只有 100 个神经元的网络层，硬塞进去了上万个完全独立的概念。
按直觉，一个神经元占一个坑，100 个神经元最多只能存 100 种信息。
可你切开真实的大模型，会看到一片混乱的场面：同一个神经元，既对「法语动词」起反应，又对「金门大桥」放电，顺带还管着「维生素C」。
这不是模型学傻了，也不是训练产生的噪音。
它是一场经过精密计算的数学套利。
2022 年，Anthropic 的 Nelson Elhage 和团队在一篇名为《Toy Models of Superposition》的研究里，把这台机器彻底拆了开来。
秘密藏在两个词里：几何方向，和稀疏性。
过去我们以为，神经元是独立的储物柜。
但在模型眼里，概念从来不是一根根互相垂直的坐标轴，它们是一个个特定的空间方向。
假设你只有 2 个神经元，也就是一张二维平面。
如果所有概念时时刻刻都在发生，你在这张纸上最多只能画出两条互相垂直的轴。
只要塞进第 3 个概念，它们就会疯狂打架，输出彻底变成一堆乱码。
但现实世界的语言不是这样运转的。
现实语义本身是高度稀疏的。
一句话里提到「量子力学」的时候，极少有人会同时提到「红烧肉」或者「网球拍」。
绝大多数概念在绝大多数时间里，激活强度都是零。
稀疏性一把规则改写，数学的奇迹就出现了。
那 2 个神经元不再死守两条 90 度的直角轴，它们把 5 个概念排成了一个规则的五角星。
每一个概念的夹角变成了 72 度。
它们彼此不再完全垂直，确实会产生微弱的互相干扰。
但因为这 5 个概念极少同时出现，这点干扰产生的账单，远比「多塞进 3 个概念」带来的收益便宜得多。
如果把这套逻辑推到真实大模型的几千维空间里呢？
高维几何有一个违背常理的特性：在 1000 维的空间里，互相垂直的轴只有 1000 根。
但彼此夹角在 89 度到 90 度之间、几乎互不干扰的「近乎正交」方向，可以有几百万个。
只要语义足够稀疏，模型就能用几千个神经元，把几百万个概念同时打包封存。
这就是为什么单个神经元看起来总在人格分裂。
它根本不属于某一个具体概念，它是上百个高维方向共同借用这根轴留下的投影。
这也解释了为什么过去的神经元可解释性研究举步维艰。
盯着单个神经元去猜模型在想什么，就像拿着量角器对着两根直角坐标轴，硬要去读那颗五角星。
你看到的当然全是不相关的碎片。
模型最基本的认知单元从来不是神经元，它们是高维空间里的特征方向。
机器没有按人类预想的储物柜逻辑去储存世界。
它只是把现实概念的稀疏性，兑换成了一场极致的几何压缩。

_Rendered by mubei-terminal._