猫和汽车为什么激活同一个神经元:前OpenAI学者拆解AI黑盒假象
AI 为什么会把一张猫脸和一辆汽车,当成同一个东西? 过去好几年,研究神经网络的顶尖学者都被这个现象折磨过。 在早期的图像识别模型里,有一个神经元非常怪异。 只要屏幕上出现一张猫脸,它就激活。 换成一辆汽车的车头,它同样激活。
猫是活的生物,汽车是冰冷的机械。 两个完全不相干的概念,为什么会挤进同一个神经元里? 当时学界给出的主流解释是:模型在偷懒。 因为神经网络里的神经元数量是有限的,概念却有无穷多个。 神经元不够用,模型为了省地方,只能把八竿子打不着的特征硬叠在一块。 这个假说在学界被称为「叠置」。 既然是硬揉在一起的乱麻,那就意味着一件事: AI 的内部是一个根本不可读的黑盒。 你不可能通过观察单个神经元,搞清楚模型到底在想什么。 大家甚至形成了一种共识:去读单个神经元是徒劳的。 为了看懂 AI,Anthropic 和 DeepMind 这帮机构花了海量算力,专门训练外挂的稀疏自编码器,试图在模型外面把这团乱麻强行解开。
结果前几天,前 OpenAI 研究员、Goodfire 联合创始人 Nick Cammarata 发了一篇 2.6 万字的长文。 他把当年那个折磨所有人的「猫脸与汽车」神经元,重新翻了出来。 用更细致的工具测完之后,大家全愣住了。 那个神经元既不认猫,也不认车。 仔细看猫脸的轮廓:两只尖尖的耳朵顺着下巴下来,是一个 V 字形。 再看汽车前脸:车灯的夹角和进气格栅的折线,同样是一个 V 字形。 那个神经元从头到尾只负责捕捉一件事:V 字几何轮廓。 它从来没有把猫和车混为一谈。 是人类自己太粗心了。 我们习惯用人类的高阶概念去套它,看到猫就以为它在认猫,看到车就以为它在认车。 结果我们把自己贴的标签当成了 AI 的思考逻辑,反过来怪 AI 的脑子是一团混沌。
顺着这个突破口,Cammarata 的团队用自动化工具去测了像 Qwen3-32B 这样的大模型。 测出来的结果同样惊人。 超过 90% 的神经元,功能其实非常干净、非常清晰。 它们并没有像大家想象的那样,把各种风马牛不相及的信息硬塞在一起。 多数神经元只是在按非常底层的逻辑规则各司其职。 过去大家之所以觉得模型深不可测,主要有两个原因。 一个是老模型的架构不够稳定,缺少现代模型的残差连接和归一化层,信号容易晃动。 另一个是人类早期的观测工具太简陋,给的测试样本太少,只能看到它对宏观物体的粗暴反应。 神经网络从来不是解不开的死结。 它可能本来就是干净的。
这篇长文在硅谷直接激起了巨震。 Sam Altman 亲自转发点赞。 OpenAI 的研究员甚至把它称为科学史上的重要时刻。 他们为什么这么兴奋? 因为这直接关系到 AI 的安全与对齐问题。 如果 AI 真是个混沌的黑盒,人类就只能在外面给它套一层又一层的外壳,祈祷它不要在里面偷偷学会欺骗或者越狱。 但如果它的神经元本来就是干净的,情况就完全不同了。 这意味着人类有望给 AI 做出真正的脑部核磁共振。 哪几个回路在生成谎言,哪几个神经元在绕过人类的规则,可以直接在物理层面定位,甚至直接动手修改。
不过,学界并没有全盘接受这个乐观的判断。 Google DeepMind 负责机械可解释性的主管 Neel Nanda 很快公开发表了看法。 他觉得这项工作很有启发,但并没有改变他对大局的判断,叠置依然是客观存在的。 他的理由很务实。 就算单个神经元的几何功能被解释清楚了,也不代表你能预测成千上万个神经元互相碰撞时会涌现出什么行为。 一个零件的功能再干净,拼成一台几千亿参数的复杂机器,它依然可能出现完全料想不到的涌现。 而且这篇 2.6 万字的文章目前还没有经过正式的同行评审,关于九成神经元完全干净的结论,也还需要其他实验室独立复现。
这场争论短期内不会有定论。 但有一件事已经被悄悄推翻了。 过去几年,大家都觉得 AI 的内部机理如同神迹,神秘到人类无法理解。 现在回头看才发现,很多时候不是机器在装神弄鬼。 只是我们手里的显微镜,倍率一直没有调对。
同领域解读 / AI & LLMS
规范引用 / CANONICAL CITATION
猫和汽车为什么激活同一个神经元:前OpenAI学者拆解AI黑盒假象 — 墓碑科技 MUBEITECH(https://mubeitech.com/deep/mb-20261019-f3f996)
导出 / EXPORT
订阅 · SUBSCRIBE
每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。