{"id":"mb-20261020-d68d8c","kind":"deep","title":"AI黑箱被原作者翻案：从猫车神经元到递归泛化，99%神经元其实清晰可读","summary":"早年AI可解释性经典论文《Zoom In》共同作者尼克·卡马拉塔发布长文，推翻了流传十年的猫车神经元多义性案例。研究表明，早期所谓的混乱叠加多由粗糙可视化工具的优化作弊引起，神经元底层实质是在检测清晰的几何轮廓，并沿着递归泛化路径成长。尽管DeepMind学者指出大语言模型的密集事实记忆仍有叠加争议，但原生神经网络的透明度已远超此前预期。","body":"十年前，科学家在一个经典视觉模型里，找到了一个极其诡异的神经元。\n\n它看到猫脸会强烈放电，看到汽车车头也会强烈放电。\n\n猫和汽车，两个八竿子打不着的东西，共用了同一个神经元。\n\n这个代号 4e:55 的案例，后来被大量论文反复引用，成了整个领域公认的标本。\n\n当时的解释是：神经网络的底层是一团无法理喻的乱麻。\n\n模型的神经元数量有限，当它要记的概念太多时，就会偷偷把互不相关的特征硬塞进同一个神经元里。\n\n这就是 AI 可解释性领域著名的叠加假说。\n\n既然网络内部被缠成了一锅粥，过去十年的研究路线全都在围绕一个拆字打转。\n\nOpenAI 和 Anthropic 这些顶尖团队，投入巨额算力训练稀疏自编码器（SAE），试图用复杂的辅助模型把被折叠的特征强行解开。\n\n结果就在最近，当年把这个案例亲手写进经典论文《Zoom In》的科学家，自己站出来翻案了。\n\n前 OpenAI 科学家、现 Goodfire 研究员尼克·卡马拉塔（Nick Cammarata），发布了一篇长文《神经网络本来就很干净》。\n\n他说，这个神经元根本不认识猫，也根本不认识车。\n\n它在底层检测的，是 V 字几何形状。\n\n不管是狐狸尖尖的下巴、喷射的火焰、汽车进气格栅的倒三角，还是消防船喷出的 V 形水柱，都会猛烈触发它的正极。\n\n它的负极，专门响应圆形轮廓，比如圆脸、皮球和车轮。\n\n那当年为什么会被看成猫和汽车？\n\n问题出在早年简陋的观测工具上。\n\n十年前大家用梯度下降算法去合成让神经元兴奋的图片。\n\n但算法为了追求最高激活值，在优化过程中会抄近路。\n\nImageNet 训练集里最多的就是猫和狗，算法在合成图片时，不可避免地卷进了一堆猫胡须和狗毛的语义残渣。\n\n研究人员顺着这些残渣去猜，误以为它是一个动物神经元。\n\n大家看到的混乱，只是观测工具制造出来的数学假象。\n\n另一个被推翻的经典案例是汽车与狗神经元。\n\n当年论文认为它把汽车的特征信号藏进了一组狗神经元里。\n\n卡马拉塔团队这次用自动化程序做了消融实验，一段一段切断电路去排查。\n\n结果发现这组神经元既不管狗，也不管车。\n\n它检测的是画面里的物体是不是正脸朝向镜头，并且左右对称。\n\n当一辆车或者一只狗正面出现时，神经元给它打上正脸朝前的几何标签，再把信号分流送进更深层的独立电路。\n\n多义性没有发生，发生的只是几何特征向语义特征的连续分流。\n\n既然神经元没有胡乱叠加，为什么有些神经元看起来会处理好几件事？\n\n卡马拉塔提出了一个新的因果解释，叫递归泛化。\n\n神经元在训练过程中，就像树枝抽条一样连续生长。\n\n一个神经元起初可能只识别油菜花，顺着黄色这条轴线，它逐渐泛化到各类黄色物体。\n\n顺着圆形轴线，它开始识别球体。\n\n顺着花田里的生物这条关联路径，它进一步覆盖花田里奔跑的狗，最后甚至能响应绿色的西兰花。\n\n如果只看起点和终点，油菜花和西兰花放在一起确实显得混乱。\n\n但只要把完整的生长树枝拉出来看，每一步分叉都有明确的因果关联。\n\n在语言模型里，这种递归延伸更规整。\n\n比如在千问（Qwen3-32B）模型里，有一个识别宫崎骏的神经元回路。\n\n最底层是一堆拼写碎片，比如崎这个字的偏旁、日文拼音的结尾。\n\n中间几层是拼写模式，比如常见日文姓氏的结尾规律。\n\n到了第四层，明确合成出宫崎这个名字。\n\n再往上走六到八层，进一步延伸到千与千寻、风之谷这些作品。\n\n整条链路层层推进，每一层都有清晰的分工。\n\n卡马拉塔团队抽样分析了一千个神经元，大约 90% 的神经元基本只做一件核心工作，分支也全是高度相关的衍生概念。\n\n看到这里，支持叠加假说的研究者肯定会问：如果神经元数量真的被压到极限，模型难道不会被迫乱塞特征吗？\n\n卡马拉塔干脆做了一个极限压力测试。\n\n他挑出经典视觉模型里没有残差连接的 3b 层，信号在这里无法绕路。\n\n他把原本负责检测曲线的 480 个神经元，一口气砍到只剩 10 个，进行了整整 48 倍的强制压缩。\n\n然后把模型从零重新训练一遍。\n\n如果叠加假说是对的，极度缺乏空间的网络一定会把各种不相干的特征胡乱揉在一起。\n\n实验结果完全相反。\n\n这 10 个神经元每一个都保持着清晰的单一功能。\n\n它们没有陷入混乱，只是把管辖范围放宽了。\n\n一个曲线神经元主动接管了原本 10 个不同角度的细分曲线，另外两个圆形神经元包揽了所有的圆形分类。\n\n更让人意外的是，当研究人员用当下流行的稀疏自编码器（SAE）去解缠这 10 个神经元时，拆出来的特征反而变得又粗又脏。\n\n那些被寄予厚望的解缠工具，反而给干净的原生神经元添了乱。\n\n在现代卷积架构 ConvNeXt 上，最后一层 99% 到 100% 的神经元都能找到清晰明确的解释。\n\n甚至在万亿参数规模的推理模型里，归因图显示出的回路也几乎可以让人一眼看懂。\n\n不过，这场翻案并没有让整个学界全盘倒戈。\n\nGoogle DeepMind 机制可解释性团队负责人尼尔·南达（Neel Nanda），很快给出了审慎的反驳。\n\n南达指出，双方争论的其实是两个层面的东西。\n\n把毫无关系的特征乱塞进同一个神经元，这种任意叠加确实站不住脚。\n\n但另一种叠加依然存在，那就是知识表征的叠加。\n\n图像模型处理的是几何线条与轮廓，结构相对稀疏。\n\n语言模型却需要装载海量的事实、历史常识和非结构化数据。\n\n大模型里那些微弱的激活信号，往往是成千上万个事实交织在一起的线性组合。\n\n如果把这些微弱激活都当成无害的次级树枝剪掉，语言模型的性能就会大打折扣。\n\n南达认可重新审视原生神经元的价值，但他强调，不能把视觉模型的几何规律，轻易平移到记忆密度极高的大语言模型上。\n\n卡马拉塔也承认，这目前只是一份工作假设。\n\n在没有完整训练轨迹记录的巨型模型上，很多解释依然停留在扰动观察的阶段。\n\n但这场翻案带来的震动已经发生了。\n\n过去十年，不少人看着那些怪异混乱的放电图像，觉得神经网络内部注定是无法理解的黑箱。\n\n这项研究至少给出了另一种可能：\n\n混乱的也许从来不是网络，只是我们早期的观测工具太糙了。","topic":"AI黑箱被原作者翻案：从猫车神经元到递归泛化，99%神经元其实清晰可读","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-20 06:19:26","legal_anchor_count":0,"transcript_citation_count":0}