{"id":"mb-20261018-83cef8","kind":"deep","title":"大模型内部根本不是混乱毛线团：Nick Cammarata实测九成神经元功能专一","summary":"长期以来AI界认为神经网络存在严重的多义叠加态，是一个不可解的混沌黑箱。前OpenAI机理可解释性研究员Nick Cammarata最新实测表明，在Qwen-32B等模型中接近90%的神经元都有明确单一功能。过去的混沌误判主要源于观测工具粗糙和对概念归纳的误读，这让模型机理可解释性与安全对齐重新成为可解的常规科学。","body":"把大模型切开一看，九成神经元其实只干一件事。\n\n过去好几年，整个 AI 界几乎被同一个噩梦困住了。\n都说神经网络是个解不开的混沌毛线团。\n一个神经元，可能上午还在管英语从句，下午就跑去识别猫胡子，顺便还要对 19 世纪的历史年份起反应。\n这个现象在学术上叫“多义性”，或者“叠加态”。\n意思是模型太贪心了。\n它想塞进几千亿种特征，手里却只有几百亿个神经元。\n怎么办？\n只能硬把一堆完全不相干的概念，揉进同一个神经元里。\n\n这直接把做安全和对齐的人搞绝望了。\n如果你连它身体里每一个零件在干什么都看不懂，\n你怎么敢保证它哪天不会做出离谱的事？\n当年在 OpenAI 参与机理可解释性早期工作的 Nick Cammarata，自己也是灰心丧气。\n他当时觉得这套系统天生就是一团乱麻，根本无解。\n为了看懂模型，大家只能在外面套上一层又一层的外挂工具，比如笨重的“稀疏自编码器”，试图把绞在一起的信号拽开。\n\n结果就在这两天，Nick Cammarata 自己把这个判断推翻了。\n他用新的智能分析工具，直接把大模型从几亿到万亿参数的神经元重新查了一遍。\n在对开源模型 Qwen-32B 的审计中，\n结果让大家当场愣住：\n模型里接近百分之九十的神经元，根本没有乱搞。\n它们专一得很，从头到尾就在老老实实管一个特定功能。\n\n那以前看到的那些“一个神经元管八件事”，到底是怎么来的？\n解释贴着动作走，核心就两个误会：\n第一，是以前的观测工具太粗糙了。\n就像拿着擦不干净的放大镜看切片，镜头上的脏点，被当成了细胞自带的器官。\n第二，是我们错把“概念归纳”当成了“混乱”。\n比如一个神经元同时对好几个概念亮灯，并不代表它在瞎凑。\n这些概念在底层的几何或者语义结构上，原本就共享同一个特征。\n它是在做高层次的抽象，结果被早期的粗糙工具当成了神经元错乱。\n\n这个反差太大了。\n如果大模型底层的神经元原本就是干净、有条理的电路，\n我们根本不需要先套一层复杂的数学算法去猜它在想什么。\n直接顺着原生的神经元和线路，顺藤摸瓜就能看懂。\n可解释性研究从一个看似绝望的黑箱死胡同，\n突然变成了一门可以按部就班推进的常规科学。\n\n当然，这还是一个刚抛出来的实测假说，\n同行们现在正忙着复现和挑刺。\n但我更在意的，是这件事情背后的反思。\n很多时候我们觉得机器深不可测、完全不可控，\n可能真不是它天生有多混沌，\n只是我们手里的工具，之前一直没用对。","topic":"大模型内部根本不是混乱毛线团：Nick Cammarata实测九成神经元功能专一","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-18 14:04:09","legal_anchor_count":0,"transcript_citation_count":0}