--- id: "mb-20261020-d68d8c" kind: "deep" title: "AI黑箱被原作者翻案：从猫车神经元到递归泛化，99%神经元其实清晰可读" description: "早年AI可解释性经典论文《Zoom In》共同作者尼克·卡马拉塔发布长文，推翻了流传十年的猫车神经元多义性案例。研究表明，早期所谓的混乱叠加多由粗糙可视化工具的优化作弊引起，神经元底层实质是在检测清晰的几何轮廓，并沿着递归泛化路径成长。" domain: "ai" domain_label: "AI 与大模型" canonical_url: "https://mubeitech.com/deep/mb-20261020-d68d8c" markdown_url: "https://mubeitech.com/deep/mb-20261020-d68d8c/markdown" json_url: "https://mubeitech.com/api/interpretations/mb-20261020-d68d8c" topic: "AI黑箱被原作者翻案：从猫车神经元到递归泛化，99%神经元其实清晰可读" source_type: "generated" status: "published" generated_at: "2026-10-20 06:19:26" frame_type: ["机制"] legal_anchor_count: 0 transcript_citation_count: 0 --- # AI黑箱被原作者翻案：从猫车神经元到递归泛化，99%神经元其实清晰可读 十年前，科学家在一个经典视觉模型里，找到了一个极其诡异的神经元。 它看到猫脸会强烈放电，看到汽车车头也会强烈放电。 猫和汽车，两个八竿子打不着的东西，共用了同一个神经元。 这个代号 4e:55 的案例，后来被大量论文反复引用，成了整个领域公认的标本。 当时的解释是：神经网络的底层是一团无法理喻的乱麻。 模型的神经元数量有限，当它要记的概念太多时，就会偷偷把互不相关的特征硬塞进同一个神经元里。 这就是 AI 可解释性领域著名的叠加假说。 既然网络内部被缠成了一锅粥，过去十年的研究路线全都在围绕一个拆字打转。 OpenAI 和 Anthropic 这些顶尖团队，投入巨额算力训练稀疏自编码器（SAE），试图用复杂的辅助模型把被折叠的特征强行解开。 结果就在最近，当年把这个案例亲手写进经典论文《Zoom In》的科学家，自己站出来翻案了。 前 OpenAI 科学家、现 Goodfire 研究员尼克·卡马拉塔（Nick Cammarata），发布了一篇长文《神经网络本来就很干净》。 他说，这个神经元根本不认识猫，也根本不认识车。 它在底层检测的，是 V 字几何形状。 不管是狐狸尖尖的下巴、喷射的火焰、汽车进气格栅的倒三角，还是消防船喷出的 V 形水柱，都会猛烈触发它的正极。 它的负极，专门响应圆形轮廓，比如圆脸、皮球和车轮。 那当年为什么会被看成猫和汽车？ 问题出在早年简陋的观测工具上。 十年前大家用梯度下降算法去合成让神经元兴奋的图片。 但算法为了追求最高激活值，在优化过程中会抄近路。 ImageNet 训练集里最多的就是猫和狗，算法在合成图片时，不可避免地卷进了一堆猫胡须和狗毛的语义残渣。 研究人员顺着这些残渣去猜，误以为它是一个动物神经元。 大家看到的混乱，只是观测工具制造出来的数学假象。 另一个被推翻的经典案例是汽车与狗神经元。 当年论文认为它把汽车的特征信号藏进了一组狗神经元里。 卡马拉塔团队这次用自动化程序做了消融实验，一段一段切断电路去排查。 结果发现这组神经元既不管狗，也不管车。 它检测的是画面里的物体是不是正脸朝向镜头，并且左右对称。 当一辆车或者一只狗正面出现时，神经元给它打上正脸朝前的几何标签，再把信号分流送进更深层的独立电路。 多义性没有发生，发生的只是几何特征向语义特征的连续分流。 既然神经元没有胡乱叠加，为什么有些神经元看起来会处理好几件事？ 卡马拉塔提出了一个新的因果解释，叫递归泛化。 神经元在训练过程中，就像树枝抽条一样连续生长。 一个神经元起初可能只识别油菜花，顺着黄色这条轴线，它逐渐泛化到各类黄色物体。 顺着圆形轴线，它开始识别球体。 顺着花田里的生物这条关联路径，它进一步覆盖花田里奔跑的狗，最后甚至能响应绿色的西兰花。 如果只看起点和终点，油菜花和西兰花放在一起确实显得混乱。 但只要把完整的生长树枝拉出来看，每一步分叉都有明确的因果关联。 在语言模型里，这种递归延伸更规整。 比如在千问（Qwen3-32B）模型里，有一个识别宫崎骏的神经元回路。 最底层是一堆拼写碎片，比如崎这个字的偏旁、日文拼音的结尾。 中间几层是拼写模式，比如常见日文姓氏的结尾规律。 到了第四层，明确合成出宫崎这个名字。 再往上走六到八层，进一步延伸到千与千寻、风之谷这些作品。 整条链路层层推进，每一层都有清晰的分工。 卡马拉塔团队抽样分析了一千个神经元，大约 90% 的神经元基本只做一件核心工作，分支也全是高度相关的衍生概念。 看到这里，支持叠加假说的研究者肯定会问：如果神经元数量真的被压到极限，模型难道不会被迫乱塞特征吗？ 卡马拉塔干脆做了一个极限压力测试。 他挑出经典视觉模型里没有残差连接的 3b 层，信号在这里无法绕路。 他把原本负责检测曲线的 480 个神经元，一口气砍到只剩 10 个，进行了整整 48 倍的强制压缩。 然后把模型从零重新训练一遍。 如果叠加假说是对的，极度缺乏空间的网络一定会把各种不相干的特征胡乱揉在一起。 实验结果完全相反。 这 10 个神经元每一个都保持着清晰的单一功能。 它们没有陷入混乱，只是把管辖范围放宽了。 一个曲线神经元主动接管了原本 10 个不同角度的细分曲线，另外两个圆形神经元包揽了所有的圆形分类。 更让人意外的是，当研究人员用当下流行的稀疏自编码器（SAE）去解缠这 10 个神经元时，拆出来的特征反而变得又粗又脏。 那些被寄予厚望的解缠工具，反而给干净的原生神经元添了乱。 在现代卷积架构 ConvNeXt 上，最后一层 99% 到 100% 的神经元都能找到清晰明确的解释。 甚至在万亿参数规模的推理模型里，归因图显示出的回路也几乎可以让人一眼看懂。 不过，这场翻案并没有让整个学界全盘倒戈。 Google DeepMind 机制可解释性团队负责人尼尔·南达（Neel Nanda），很快给出了审慎的反驳。 南达指出，双方争论的其实是两个层面的东西。 把毫无关系的特征乱塞进同一个神经元，这种任意叠加确实站不住脚。 但另一种叠加依然存在，那就是知识表征的叠加。 图像模型处理的是几何线条与轮廓，结构相对稀疏。 语言模型却需要装载海量的事实、历史常识和非结构化数据。 大模型里那些微弱的激活信号，往往是成千上万个事实交织在一起的线性组合。 如果把这些微弱激活都当成无害的次级树枝剪掉，语言模型的性能就会大打折扣。 南达认可重新审视原生神经元的价值，但他强调，不能把视觉模型的几何规律，轻易平移到记忆密度极高的大语言模型上。 卡马拉塔也承认，这目前只是一份工作假设。 在没有完整训练轨迹记录的巨型模型上，很多解释依然停留在扰动观察的阶段。 但这场翻案带来的震动已经发生了。 过去十年，不少人看着那些怪异混乱的放电图像，觉得神经网络内部注定是无法理解的黑箱。 这项研究至少给出了另一种可能： 混乱的也许从来不是网络，只是我们早期的观测工具太糙了。 _Canonical: · Source: 墓碑科技 MUBEITECH (mubeitech.com)_ _Rendered by mubei-terminal._