{"id":"mb-20261019-f3f996","kind":"deep","title":"猫和汽车为什么激活同一个神经元：前OpenAI学者拆解AI黑盒假象","summary":"学界长期认为神经网络因容量有限而存在叠置，导致单神经元混杂多重概念、形成不可解释的黑盒。前OpenAI研究员Nick Cammarata重新测试发现，经典视觉模型里同时响应猫脸与汽车前脸的神经元，实际只在检测底层的V字几何轮廓。当观测工具精细化后，现代模型超九成神经元分工单一清晰。这一发现为大模型安全与回路对齐提供了新钥匙，但也引发了关于复杂网络涌现性的学术交锋。","body":"AI 为什么会把一张猫脸和一辆汽车，当成同一个东西？\n过去好几年，研究神经网络的顶尖学者都被这个现象折磨过。\n在早期的图像识别模型里，有一个神经元非常怪异。\n只要屏幕上出现一张猫脸，它就激活。\n换成一辆汽车的车头，它同样激活。\n\n猫是活的生物，汽车是冰冷的机械。\n两个完全不相干的概念，为什么会挤进同一个神经元里？\n当时学界给出的主流解释是：模型在偷懒。\n因为神经网络里的神经元数量是有限的，概念却有无穷多个。\n神经元不够用，模型为了省地方，只能把八竿子打不着的特征硬叠在一块。\n这个假说在学界被称为「叠置」。\n既然是硬揉在一起的乱麻，那就意味着一件事：\nAI 的内部是一个根本不可读的黑盒。\n你不可能通过观察单个神经元，搞清楚模型到底在想什么。\n大家甚至形成了一种共识：去读单个神经元是徒劳的。\n为了看懂 AI，Anthropic 和 DeepMind 这帮机构花了海量算力，专门训练外挂的稀疏自编码器，试图在模型外面把这团乱麻强行解开。\n\n结果前几天，前 OpenAI 研究员、Goodfire 联合创始人 Nick Cammarata 发了一篇 2.6 万字的长文。\n他把当年那个折磨所有人的「猫脸与汽车」神经元，重新翻了出来。\n用更细致的工具测完之后，大家全愣住了。\n那个神经元既不认猫，也不认车。\n仔细看猫脸的轮廓：两只尖尖的耳朵顺着下巴下来，是一个 V 字形。\n再看汽车前脸：车灯的夹角和进气格栅的折线，同样是一个 V 字形。\n那个神经元从头到尾只负责捕捉一件事：V 字几何轮廓。\n它从来没有把猫和车混为一谈。\n是人类自己太粗心了。\n我们习惯用人类的高阶概念去套它，看到猫就以为它在认猫，看到车就以为它在认车。\n结果我们把自己贴的标签当成了 AI 的思考逻辑，反过来怪 AI 的脑子是一团混沌。\n\n顺着这个突破口，Cammarata 的团队用自动化工具去测了像 Qwen3-32B 这样的大模型。\n测出来的结果同样惊人。\n超过 90% 的神经元，功能其实非常干净、非常清晰。\n它们并没有像大家想象的那样，把各种风马牛不相及的信息硬塞在一起。\n多数神经元只是在按非常底层的逻辑规则各司其职。\n过去大家之所以觉得模型深不可测，主要有两个原因。\n一个是老模型的架构不够稳定，缺少现代模型的残差连接和归一化层，信号容易晃动。\n另一个是人类早期的观测工具太简陋，给的测试样本太少，只能看到它对宏观物体的粗暴反应。\n神经网络从来不是解不开的死结。\n它可能本来就是干净的。\n\n这篇长文在硅谷直接激起了巨震。\nSam Altman 亲自转发点赞。\nOpenAI 的研究员甚至把它称为科学史上的重要时刻。\n他们为什么这么兴奋？\n因为这直接关系到 AI 的安全与对齐问题。\n如果 AI 真是个混沌的黑盒，人类就只能在外面给它套一层又一层的外壳，祈祷它不要在里面偷偷学会欺骗或者越狱。\n但如果它的神经元本来就是干净的，情况就完全不同了。\n这意味着人类有望给 AI 做出真正的脑部核磁共振。\n哪几个回路在生成谎言，哪几个神经元在绕过人类的规则，可以直接在物理层面定位，甚至直接动手修改。\n\n不过，学界并没有全盘接受这个乐观的判断。\nGoogle DeepMind 负责机械可解释性的主管 Neel Nanda 很快公开发表了看法。\n他觉得这项工作很有启发，但并没有改变他对大局的判断，叠置依然是客观存在的。\n他的理由很务实。\n就算单个神经元的几何功能被解释清楚了，也不代表你能预测成千上万个神经元互相碰撞时会涌现出什么行为。\n一个零件的功能再干净，拼成一台几千亿参数的复杂机器，它依然可能出现完全料想不到的涌现。\n而且这篇 2.6 万字的文章目前还没有经过正式的同行评审，关于九成神经元完全干净的结论，也还需要其他实验室独立复现。\n\n这场争论短期内不会有定论。\n但有一件事已经被悄悄推翻了。\n过去几年，大家都觉得 AI 的内部机理如同神迹，神秘到人类无法理解。\n现在回头看才发现，很多时候不是机器在装神弄鬼。\n只是我们手里的显微镜，倍率一直没有调对。","topic":"猫和汽车为什么激活同一个神经元：前OpenAI学者拆解AI黑盒假象","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-19 20:19:46","legal_anchor_count":0,"transcript_citation_count":0}