{"id":"mb-20260901-583295","kind":"deep","title":"Nature 统计了 21 世纪被人类引用最多的科学论文","summary":"Nature 统计了 21 世纪被人类引用最多的科学论文","body":"Nature 统计了 21 世纪被人类引用最多的科学论文。\n排在第一名的，不是相对论的后续验证，也不是基因编辑。\n是 2015 年底微软亚洲研究院四位华人学者写下的一篇 12 页论文：\n何恺明、张祥雨、任少卿、孙剑发表的 ResNet 残差网络。\n累计引用超过 25 万次。\n排在第七名的，是 2017 年奠定大模型底座的 Transformer。\n但这篇登顶 21 世纪科学界的论文，动笔的起点，\n是整个深度学习领域撞上的一堵高墙。\n2015 年初，所谓「深度学习」，最核心的信仰就是把网络层数做深。\n2012 年 AlexNet 只有 8 层。\n2014 年牛津和谷歌把网络推到了 19 层和 22 层，识别率一路飙升。\n可当研究人员试图把层数继续往上推，灾难发生了。\n网络到了 20 层到 30 层之间，性能突然停滞，随后开始倒退。\n一个 74 层的模型，识别准确率跌到了 38.9%。\n被只有 8 层的原始模型轻松碾压。\n这在当时被叫作「退化问题」。\n最让人百思不得其解的是它的数学逻辑。\n一个 30 层的网络，理论表现绝不可能比 14 层的网络更差。\n因为多出来的 16 层，只要学会「什么都不做」。\n把上一层的数据原封不动传给下一层就行。\n这在数学上叫恒等映射。\n既然网络有能力做到这一点，为什么最顶尖的优化算法死活找不到这个解？\n答案藏在高维损失曲面的几何结构里。\n神经网络训练的过程，是在几百万维的误差地形上寻找下坡方向。\n每多叠一层非线性变换，误差信号向后反传的路径就被扭曲一次。\n到了几十层以上，梯度信号不再是指引下坡的罗盘。\n2017 年的一篇经典论文把这个现象命名为「破碎梯度」。\n深层网络的梯度完全退化成了空间白噪声。\n误差地形变成了布满尖刺和陷阱的悬崖峭壁。\n算法每迈出一步都在撞墙。\n何恺明团队拿出的解法，简单到近乎儿戏。\n他们在每两层网络旁边，拉了一根直通的物理跳线。\n把上一层的输入，直接加到这一层的输出上。\ny = x + F(x)。\n就是这么一个加法。\n新加的网络层如果不知道该学什么，把自身参数全部归零即可。\nF(x) 等于 0，输入数据 x 就顺着这条跳线无损流过。\n李浩团队在 2018 年用高维投影画出了这前后的损失曲面：\n没有跳线的深层网络，曲面像犬牙交错的碎石堆；\n接上跳线之后，原本支离破碎的误差曲面，被拉成了一个平滑规整的巨大凹碗。\n152 层的 ResNet 横空出世，横扫了 2015 年所有的计算机视觉比赛。\n但这个看似只是为了解决训练困难的工程补丁，\n很快逼着整个学术界重写了对神经网络的底层认知。\n在 ResNet 出现前，主流世界坚信的是「分层特征阶梯」假说：\n第 1 层提取边缘，第 2 层拼出纹理，第 5 层认出人脸。\n每一层都是上一层不可或缺的台阶，抽掉任何一块，整栋楼就会塌陷。\n2016 年，康奈尔大学团队做了一个反直觉的实验：\n他们随手从一个 56 层的 ResNet 里删掉一层，甚至打乱层序。\n网络的识别能力几乎没有受到任何影响。\n这彻底打破了传统的特征阶梯假说。\n网络内部根本不是严密的层级流水线。\n那根被顺次连起来的跳线，在模型内部形成了一条贯穿始终、永不断流的「残差流」。\n它是一条信息高速公路。\n每一层网络不是必须承重的台阶，是挂在这条主干道旁边的读写单元：\n从主干道里读取当前的中间状态，在旁边算一小段修正量，再悄悄写回主干道。\n这台机器不再是单向加工流水线，它变成了神经网络的「工作记忆」。\n一旦看懂了这台机器，后面十年的所有技术脉络全部严丝合缝。\n2017 年谷歌造 Transformer 时，把残差流直接塞进了注意力机制的骨架里。\n2024 年 Meta 研究视觉大模型 DINOv2 时，发现了一个诡异现象。\n网络为了使用这段工作记忆，会自动霸占背景里毫无意义的白墙和抽屉像素。\n把它们当成暂存全局信息的草稿纸。\n当研究人员给它加上几个专用的「寄存器标记」，\n模型便顺理成章地把全局特征全存进了寄存器里。\n1900 年，普朗克为了解决黑体辐射的紫外灾难，\n随手假设能量是一份一份离散发射的。\n他当时以为这只是一个凑公式的数学补丁。\n那个补丁最终撬开了量子力学的大门。\nResNet 当年在层与层之间连上的那根加法跳线，\n起初也常被当作一个精巧的工程技巧。\n但现代人工智能真正跨过深度门槛的起点，\n就是从认出那条残差流开始的。","topic":"Nature 统计了 21 世纪被人类引用最多的科学论文","frame_type":["残差流与工作总线机制（Residual Stre","机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-09-01 14:46:03","legal_anchor_count":0,"transcript_citation_count":0}