{"id":"mb-20261103-a67381","kind":"deep","title":"神经网络层数翻倍成绩反而倒退？一行残差代码如何盘活现代大模型","summary":"2015 年深度学习遭遇严重的退化瓶颈，层数越深模型训练错误率反而越高。何恺明团队通过一行极其朴素的残差连接代码，不仅打破了梯度破碎的死局，还构筑了现代 Transformer 与大语言模型内部奔流不息的残差流，甚至让视觉模型自发展开寄存器记忆。","body":"按常理，神经网络的层数越深，能提取的特征越丰富，模型应该越聪明。\n但在 2015 年，把网络层数硬往上叠的时候，出现了一个让所有工程师抓狂的怪事。\n一个 56 层的深层网络，测试成绩竟然被 20 层的旧模型按在地上打。\n连在平时训练的试卷上，56 层网络的错误率都比浅层的高出一大截。\n这还不是过拟合的问题。\n过拟合往往是死记硬背，平时训练考满分，一上考场就不及格。\n但当时的深层网络，是连平时的作业都做不明白了。\n这就把大家给整不会了。\n直觉上想，哪怕新加的那几十层什么都不干，直接把前面的结果原样交下去，成绩至少也不该比 20 层的差吧？\n但当时的网络结构，真就做不到什么都不干。\n每一层卷积和非线性变换，都在对数据进行反复扭曲。\n叠的层数一多，前面原本很干净的特征，到了后面全被搓成了辨认不出的面团。\n更要命的是反向传播。\n模型要学会纠错，全靠把误差信号从最后一层往最前面倒推。\n2017 年有篇论文把这个现象称为梯度破碎。\n在没有跳跃通道的传统深层网络里，倒推回来的学习信号，每穿过一层就会大幅衰减。\n传过几十层以后，信号直接散成了杂乱无章的白噪声。\n后面的网络在拼命调整，前面的网络接收到的却是一团静电。\n解决这个死局的，是何恺明团队在 2015 年底提出的残差网络 ResNet。\n核心改动在代码里其实只有一行。\n让输入信号绕过两层计算，直接加到后面的输出上。\n公式极其简单：y = F(x) + x。\n就这么一个不起眼的加号，为什么能把整个死局彻底盘活？\n这其实解决掉了两个致命的问题。\n一边是让模型学会什么都不做。\n如果多出来的层没有发挥作用，算法只要把它们的参数往零收敛，输出就直接等于输入。\n模型再也不会因为层数增加，把原先学好的东西弄丢。\n另一边是给反向传播修了一条直通车道。\n误差倒推回去的时候，因为加上了原始输入，求导时凭空多出了一个稳定的常数一。\n哪怕经过变换层的信号衰减殆尽，这个常数一也能把干净的学习信号一路护送到最底层。\n靠着这行代码，何恺明团队把网络深度一口气拉到了 152 层，甚至在实验里搭出了 1202 层。\n在 2015 年的 ImageNet 图像识别大赛上，他们拿下了全部五个项目的冠军。\n那篇论文后来在学术界积累了超过二十万次引用，成为二十一世纪引用量最多的科学论文之一。\n有意思的是，大家很快发现残差网络并不只是一根强行接长了十倍的单向管道。\n2016 年康奈尔大学的研究团队做过一个破坏性测试。\n如果在一个 56 层的传统网络里随机拔掉一层，整套网络当场崩溃，准确率直接跌回随机瞎猜。\n但如果你在一个 56 层的残差网络里拔掉一层呢？\n模型几乎不受影响，准确率只出现极微弱的波动。\n因为跳跃连接的存在，这台网络在数学上等价于无数条长短不一的路径并联在一起。\n拔掉其中一层，只是关掉了其中一部分长路径，剩下的短路径依然完好无损。\n这条数据直通车道，后来顺理成章地开进了现代人工智能的核心。\n2017 年 Transformer 架构横空出世，把残差连接原封不动地装进了每一个计算模块。\n今天每一台 GPU 集群上运转的大语言模型，体内都流淌着这条残差流。\n成百上千个注意力机制和多层感知机，不用把前人的思考全部推倒重来。\n它们就像是站在一条飞速运转的传送带旁边的工人。\n大家从残差流这条传送带上取下信息，把各自算出来的少量增量放回传送带，再平稳送往下一站。\n传送带的地位太核心，模型甚至会自己给它找外挂。\n2023 年 Meta 研究视觉模型时，发现了一个诡异的现象。\n在照片里大片纯白、纯蓝的空白背景区域，少数数据点的信号强度会突然暴涨。\n模型为什么会对毫无信息量的一片空白天空死盯不放？\n排查之后研究人员才看懂，模型在沿着残差流推算全局特征时，发现自己缺少一块打草稿的临时记事本。\n为了在传送带上保留全局信息，模型居然自己打起了主意，把那些没有用的背景像素强行征用成了临时寄存器，用来存放中间记忆。\nMeta 后来在模型输入里主动塞进几个空白的寄存器标记，这些反常的尖刺信号立刻消失，模型的细粒度识别能力还跟着往上跳了一截。\n2015 年为了防止几十层网络学崩，工程师随手连上了那条支路。\n今天，这个朴素的加号已经成了整个大模型时代最繁忙的中央大动脉。\n所有复杂的智能，最终都跑在这条永不中断的直达公路上。","topic":"神经网络层数翻倍成绩反而倒退？一行残差代码如何盘活现代大模型","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-11-03 07:07:01","legal_anchor_count":0,"transcript_citation_count":0,"seo_title":"神经网络层数翻倍成绩反而倒退？一行残差代码如何盘活现代大模型","description":"2015 年深度学习遭遇严重的退化瓶颈，层数越深模型训练错误率反而越高。何恺明团队通过一行极其朴素的残差连接代码，不仅打破了梯度破碎的死局，还构筑了现代 Transformer 与大语言模型内部奔流不息的残差流，甚至让视觉模型自发展开寄存器记忆。","domain":"ai","domain_label":"AI 与大模型","domain_label_en":"AI & LLMs","domain_url":"https://mubeitech.com/deep?domain=ai","canonical_url":"https://mubeitech.com/deep/mb-20261103-a67381","markdown_url":"https://mubeitech.com/deep/mb-20261103-a67381/markdown","json_url":"https://mubeitech.com/api/interpretations/mb-20261103-a67381","published_at":"2026-11-03T07:07:01Z"}