深度解读AI 与大模型generatedpublished

大模型内部根本不是混乱毛线团:Nick Cammarata实测九成神经元功能专一

机制

把大模型切开一看,九成神经元其实只干一件事。

过去好几年,整个 AI 界几乎被同一个噩梦困住了。 都说神经网络是个解不开的混沌毛线团。 一个神经元,可能上午还在管英语从句,下午就跑去识别猫胡子,顺便还要对 19 世纪的历史年份起反应。 这个现象在学术上叫“多义性”,或者“叠加态”。 意思是模型太贪心了。 它想塞进几千亿种特征,手里却只有几百亿个神经元。 怎么办? 只能硬把一堆完全不相干的概念,揉进同一个神经元里。

这直接把做安全和对齐的人搞绝望了。 如果你连它身体里每一个零件在干什么都看不懂, 你怎么敢保证它哪天不会做出离谱的事? 当年在 OpenAI 参与机理可解释性早期工作的 Nick Cammarata,自己也是灰心丧气。 他当时觉得这套系统天生就是一团乱麻,根本无解。 为了看懂模型,大家只能在外面套上一层又一层的外挂工具,比如笨重的“稀疏自编码器”,试图把绞在一起的信号拽开。

结果就在这两天,Nick Cammarata 自己把这个判断推翻了。 他用新的智能分析工具,直接把大模型从几亿到万亿参数的神经元重新查了一遍。 在对开源模型 Qwen-32B 的审计中, 结果让大家当场愣住: 模型里接近百分之九十的神经元,根本没有乱搞。 它们专一得很,从头到尾就在老老实实管一个特定功能。

那以前看到的那些“一个神经元管八件事”,到底是怎么来的? 解释贴着动作走,核心就两个误会: 第一,是以前的观测工具太粗糙了。 就像拿着擦不干净的放大镜看切片,镜头上的脏点,被当成了细胞自带的器官。 第二,是我们错把“概念归纳”当成了“混乱”。 比如一个神经元同时对好几个概念亮灯,并不代表它在瞎凑。 这些概念在底层的几何或者语义结构上,原本就共享同一个特征。 它是在做高层次的抽象,结果被早期的粗糙工具当成了神经元错乱。

这个反差太大了。 如果大模型底层的神经元原本就是干净、有条理的电路, 我们根本不需要先套一层复杂的数学算法去猜它在想什么。 直接顺着原生的神经元和线路,顺藤摸瓜就能看懂。 可解释性研究从一个看似绝望的黑箱死胡同, 突然变成了一门可以按部就班推进的常规科学。

当然,这还是一个刚抛出来的实测假说, 同行们现在正忙着复现和挑刺。 但我更在意的,是这件事情背后的反思。 很多时候我们觉得机器深不可测、完全不可控, 可能真不是它天生有多混沌, 只是我们手里的工具,之前一直没用对。

同领域解读 / AI & LLMS

查看全部「AI 与大模型」解读 →

导出 / EXPORT

订阅 · SUBSCRIBE

每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。

不追踪邮件打开与邮件链接点击,一键退订。 或用 RSS · 详情