AI黑箱被原作者翻案：从猫车神经元到递归泛化，99%神经元其实清晰可读

十年前，科学家在一个经典视觉模型里，找到了一个极其诡异的神经元。

它看到猫脸会强烈放电，看到汽车车头也会强烈放电。

猫和汽车，两个八竿子打不着的东西，共用了同一个神经元。

这个代号 4e:55 的案例，后来被大量论文反复引用，成了整个领域公认的标本。

当时的解释是：神经网络的底层是一团无法理喻的乱麻。

模型的神经元数量有限，当它要记的概念太多时，就会偷偷把互不相关的特征硬塞进同一个神经元里。

这就是 AI 可解释性领域著名的叠加假说。

既然网络内部被缠成了一锅粥，过去十年的研究路线全都在围绕一个拆字打转。

OpenAI 和 Anthropic 这些顶尖团队，投入巨额算力训练稀疏自编码器（SAE），试图用复杂的辅助模型把被折叠的特征强行解开。

结果就在最近，当年把这个案例亲手写进经典论文《Zoom In》的科学家，自己站出来翻案了。

前 OpenAI 科学家、现 Goodfire 研究员尼克·卡马拉塔（Nick Cammarata），发布了一篇长文《神经网络本来就很干净》。

他说，这个神经元根本不认识猫，也根本不认识车。

它在底层检测的，是 V 字几何形状。

不管是狐狸尖尖的下巴、喷射的火焰、汽车进气格栅的倒三角，还是消防船喷出的 V 形水柱，都会猛烈触发它的正极。

它的负极，专门响应圆形轮廓，比如圆脸、皮球和车轮。

那当年为什么会被看成猫和汽车？

问题出在早年简陋的观测工具上。

十年前大家用梯度下降算法去合成让神经元兴奋的图片。

但算法为了追求最高激活值，在优化过程中会抄近路。

ImageNet 训练集里最多的就是猫和狗，算法在合成图片时，不可避免地卷进了一堆猫胡须和狗毛的语义残渣。

研究人员顺着这些残渣去猜，误以为它是一个动物神经元。

大家看到的混乱，只是观测工具制造出来的数学假象。

另一个被推翻的经典案例是汽车与狗神经元。

当年论文认为它把汽车的特征信号藏进了一组狗神经元里。

卡马拉塔团队这次用自动化程序做了消融实验，一段一段切断电路去排查。

结果发现这组神经元既不管狗，也不管车。

它检测的是画面里的物体是不是正脸朝向镜头，并且左右对称。

当一辆车或者一只狗正面出现时，神经元给它打上正脸朝前的几何标签，再把信号分流送进更深层的独立电路。

多义性没有发生，发生的只是几何特征向语义特征的连续分流。

既然神经元没有胡乱叠加，为什么有些神经元看起来会处理好几件事？

卡马拉塔提出了一个新的因果解释，叫递归泛化。

神经元在训练过程中，就像树枝抽条一样连续生长。

一个神经元起初可能只识别油菜花，顺着黄色这条轴线，它逐渐泛化到各类黄色物体。

顺着圆形轴线，它开始识别球体。

顺着花田里的生物这条关联路径，它进一步覆盖花田里奔跑的狗，最后甚至能响应绿色的西兰花。

如果只看起点和终点，油菜花和西兰花放在一起确实显得混乱。

但只要把完整的生长树枝拉出来看，每一步分叉都有明确的因果关联。

在语言模型里，这种递归延伸更规整。

比如在千问（Qwen3-32B）模型里，有一个识别宫崎骏的神经元回路。

最底层是一堆拼写碎片，比如崎这个字的偏旁、日文拼音的结尾。

中间几层是拼写模式，比如常见日文姓氏的结尾规律。

到了第四层，明确合成出宫崎这个名字。

再往上走六到八层，进一步延伸到千与千寻、风之谷这些作品。

整条链路层层推进，每一层都有清晰的分工。

卡马拉塔团队抽样分析了一千个神经元，大约 90% 的神经元基本只做一件核心工作，分支也全是高度相关的衍生概念。

看到这里，支持叠加假说的研究者肯定会问：如果神经元数量真的被压到极限，模型难道不会被迫乱塞特征吗？

卡马拉塔干脆做了一个极限压力测试。

他挑出经典视觉模型里没有残差连接的 3b 层，信号在这里无法绕路。

他把原本负责检测曲线的 480 个神经元，一口气砍到只剩 10 个，进行了整整 48 倍的强制压缩。

然后把模型从零重新训练一遍。

如果叠加假说是对的，极度缺乏空间的网络一定会把各种不相干的特征胡乱揉在一起。

实验结果完全相反。

这 10 个神经元每一个都保持着清晰的单一功能。

它们没有陷入混乱，只是把管辖范围放宽了。

一个曲线神经元主动接管了原本 10 个不同角度的细分曲线，另外两个圆形神经元包揽了所有的圆形分类。

更让人意外的是，当研究人员用当下流行的稀疏自编码器（SAE）去解缠这 10 个神经元时，拆出来的特征反而变得又粗又脏。

那些被寄予厚望的解缠工具，反而给干净的原生神经元添了乱。

在现代卷积架构 ConvNeXt 上，最后一层 99% 到 100% 的神经元都能找到清晰明确的解释。

甚至在万亿参数规模的推理模型里，归因图显示出的回路也几乎可以让人一眼看懂。

不过，这场翻案并没有让整个学界全盘倒戈。

Google DeepMind 机制可解释性团队负责人尼尔·南达（Neel Nanda），很快给出了审慎的反驳。

南达指出，双方争论的其实是两个层面的东西。

把毫无关系的特征乱塞进同一个神经元，这种任意叠加确实站不住脚。

但另一种叠加依然存在，那就是知识表征的叠加。

图像模型处理的是几何线条与轮廓，结构相对稀疏。

语言模型却需要装载海量的事实、历史常识和非结构化数据。

大模型里那些微弱的激活信号，往往是成千上万个事实交织在一起的线性组合。

如果把这些微弱激活都当成无害的次级树枝剪掉，语言模型的性能就会大打折扣。

南达认可重新审视原生神经元的价值，但他强调，不能把视觉模型的几何规律，轻易平移到记忆密度极高的大语言模型上。

卡马拉塔也承认，这目前只是一份工作假设。

在没有完整训练轨迹记录的巨型模型上，很多解释依然停留在扰动观察的阶段。

但这场翻案带来的震动已经发生了。

过去十年，不少人看着那些怪异混乱的放电图像，觉得神经网络内部注定是无法理解的黑箱。

这项研究至少给出了另一种可能：

混乱的也许从来不是网络，只是我们早期的观测工具太糙了。