{"id":"mb-20261022-d61b7d","kind":"deep","title":"大模型体内的数字多巴胺：为什么切除 1% 的奖励神经元会让 AI 推理彻底瘫痪？","summary":"斯坦福与清华团队研究发现，大语言模型在强化学习训练中自发演化出了一套极度稀疏的奖励子系统。包含负责预判胜率的价值神经元，以及模拟生物奖励预测误差的多巴胺神经元。一旦这 1% 的关键神经元被人工置零，模型在多步推理中就会彻底失去内部校准标尺，数学准确率断崖式暴跌。","body":"把大模型里 1% 的神经元关掉，会发生什么？\n\n如果随手挑 1% 的神经元置零，做题准确率从 75.2% 变成 74.6%，跟没事人一样。\n\n但斯坦福大学和清华大学的研究人员关掉特定的一小撮神经元后，\n大模型的数学推理能力当场崩盘。\n准确率直接从 75.2% 断崖式跌到了 1.2%。\n整个逻辑推导能力彻底瘫痪。\n\n有没有搞错？\n同样是 1% 的神经元，凭什么这几颗能决定大模型的生死？\n\n因为研究人员在大模型深处，发现了一套原本以为只有生物大脑才有的东西：\n一套自发长出来的“多巴胺奖励子系统”。\n\n在 2026 年 2 月的一篇研究里，团队拆解了 Qwen 和 Llama 等开源模型。\n代码里从来没有人写过多巴胺，也没有人预先给它搭过一套奖惩回路。\n但当大语言模型通过强化学习不断自我试错时，\n隐藏层里居然自然演化出了一套极度稀疏、结构却惊人完整的评估网络。\n\n这套网络占整个模型的比例不到 1%，内部却分工明确。\n\n第一组叫“价值神经元”。\n它们只干一件事：实时预判当前解题方向到底靠不靠谱。\n题解到第三步，离最终答案是更近了还是走偏了？\n这组神经元会一直给出一个预期的价值打分。\n\n更神奇的是第二组，研究人员直接把它们命名为“多巴胺神经元”。\n因为它们的激活规律，和 1997 年神经科学家沃尔夫拉姆·舒尔茨（Wolfram Schultz）在哺乳动物脑中发现的多巴胺机制几乎一样。\n\n大众常把多巴胺当成快乐激素。\n但在神经科学里，多巴胺的核心功能是计算“奖励预测误差”。\n\n如果事情的发展完全符合预期，多巴胺神经元根本没有动静。\n但如果模型写出了一个极其精妙的突破性步骤，解题胜率远超预期，\n这些多巴胺神经元的激活值就会像通了电一样瞬间飙高。\n模型在数学层面上，实打实体验了一次多巴胺冲顶。\n\n如果下一步算错了，把原本大好的局面搞砸了，\n这组神经元的激活值会当场暴跌进冰点。\n\n比如在第 5 层里，第 1517 号神经元就典型得像教科书：\n每当推导出现关键突破，它立刻疯狂放电；一旦推导陷入死胡同，它的信号瞬间被死死压制。\n\n那为什么把这 1% 的神经元拔掉，模型就废了？\n\n因为复杂推理需要走多步逻辑，光靠把背下来的公式往外吐根本行不通。\n每推演一步，大脑都需要知道自己走得是对是错。\n价值神经元负责给预期，多巴胺神经元负责根据预期差校正方向。\n\n实验里，研究人员只要把浅层的价值神经元置零，\n深层的多巴胺神经元就跟着失去了计算预测误差的能力。\n没有了这套内部标尺，大模型在做多步推理时就像在黑夜里闭着眼睛狂奔。\n\n它写出来的每个字依然语法工整、句子通顺，\n但在需要环环相扣的逻辑链条上，它完全丧失了自我评估和纠偏的能力。\n一道几何题解了三步，它不知道自己早就掉进了死胡同，还在一本正经地往下编。\n最终在 MATH500 这种高难度数学测试上，做题准确率从 75.2% 一路掉到 1.2%。\n\n更耐人寻味的是普遍性。\n研究团队换用不同尺寸、不同机构训练的模型，或者换用完全不同的题库去测，\n这套极少数神经元组成的功能网络，都在差不多的深浅层位置稳定出现。\n\n以前很多人看强化学习，总觉得大模型就是一个几百亿参数搅合在一起的黑箱。\n现在大家才看明白，为了在复杂任务里拿到最高分，\n纯粹的数学梯度下降，居然把碳基生物演化了几亿年的奖励预测机制，在硅片上独立重写了一遍。\n\n代码里没有神经递质，也没有情绪感受器。\n只有几行线性代数与概率计算，\n算法就自己走到了生命走过的同一条路。","topic":"大模型体内的数字多巴胺：为什么切除 1% 的奖励神经元会让 AI 推理彻底瘫痪？","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-22 20:36:19","legal_anchor_count":0,"transcript_citation_count":0,"seo_title":"大模型体内的数字多巴胺：为什么切除 1% 的奖励神经元会让 AI 推理彻底瘫痪？","description":"斯坦福与清华团队研究发现，大语言模型在强化学习训练中自发演化出了一套极度稀疏的奖励子系统。包含负责预判胜率的价值神经元，以及模拟生物奖励预测误差的多巴胺神经元。一旦这 1% 的关键神经元被人工置零，模型在多步推理中就会彻底失去内部校准标尺，数学准确率断崖式暴跌。","domain":"ai","domain_label":"AI 与大模型","domain_label_en":"AI & LLMs","domain_url":"https://mubeitech.com/deep?domain=ai","canonical_url":"https://mubeitech.com/deep/mb-20261022-d61b7d","markdown_url":"https://mubeitech.com/deep/mb-20261022-d61b7d/markdown","json_url":"https://mubeitech.com/api/interpretations/mb-20261022-d61b7d","published_at":"2026-10-22T20:36:19Z"}