Nature 统计了 21 世纪被人类引用最多的科学论文

Nature 统计了 21 世纪被人类引用最多的科学论文。 排在第一名的，不是相对论的后续验证，也不是基因编辑。 是 2015 年底微软亚洲研究院四位华人学者写下的一篇 12 页论文： 何恺明、张祥雨、任少卿、孙剑发表的 ResNet 残差网络。 累计引用超过 25 万次。 排在第七名的，是 2017 年奠定大模型底座的 Transformer。 但这篇登顶 21 世纪科学界的论文，动笔的起点， 是整个深度学习领域撞上的一堵高墙。 2015 年初，所谓「深度学习」，最核心的信仰就是把网络层数做深。 2012 年 AlexNet 只有 8 层。 2014 年牛津和谷歌把网络推到了 19 层和 22 层，识别率一路飙升。 可当研究人员试图把层数继续往上推，灾难发生了。 网络到了 20 层到 30 层之间，性能突然停滞，随后开始倒退。 一个 74 层的模型，识别准确率跌到了 38.9%。 被只有 8 层的原始模型轻松碾压。 这在当时被叫作「退化问题」。 最让人百思不得其解的是它的数学逻辑。 一个 30 层的网络，理论表现绝不可能比 14 层的网络更差。 因为多出来的 16 层，只要学会「什么都不做」。 把上一层的数据原封不动传给下一层就行。 这在数学上叫恒等映射。 既然网络有能力做到这一点，为什么最顶尖的优化算法死活找不到这个解？ 答案藏在高维损失曲面的几何结构里。 神经网络训练的过程，是在几百万维的误差地形上寻找下坡方向。 每多叠一层非线性变换，误差信号向后反传的路径就被扭曲一次。 到了几十层以上，梯度信号不再是指引下坡的罗盘。 2017 年的一篇经典论文把这个现象命名为「破碎梯度」。 深层网络的梯度完全退化成了空间白噪声。 误差地形变成了布满尖刺和陷阱的悬崖峭壁。 算法每迈出一步都在撞墙。 何恺明团队拿出的解法，简单到近乎儿戏。 他们在每两层网络旁边，拉了一根直通的物理跳线。 把上一层的输入，直接加到这一层的输出上。 y = x + F(x)。 就是这么一个加法。 新加的网络层如果不知道该学什么，把自身参数全部归零即可。 F(x) 等于 0，输入数据 x 就顺着这条跳线无损流过。 李浩团队在 2018 年用高维投影画出了这前后的损失曲面： 没有跳线的深层网络，曲面像犬牙交错的碎石堆； 接上跳线之后，原本支离破碎的误差曲面，被拉成了一个平滑规整的巨大凹碗。 152 层的 ResNet 横空出世，横扫了 2015 年所有的计算机视觉比赛。 但这个看似只是为了解决训练困难的工程补丁， 很快逼着整个学术界重写了对神经网络的底层认知。 在 ResNet 出现前，主流世界坚信的是「分层特征阶梯」假说： 第 1 层提取边缘，第 2 层拼出纹理，第 5 层认出人脸。 每一层都是上一层不可或缺的台阶，抽掉任何一块，整栋楼就会塌陷。 2016 年，康奈尔大学团队做了一个反直觉的实验： 他们随手从一个 56 层的 ResNet 里删掉一层，甚至打乱层序。 网络的识别能力几乎没有受到任何影响。 这彻底打破了传统的特征阶梯假说。 网络内部根本不是严密的层级流水线。 那根被顺次连起来的跳线，在模型内部形成了一条贯穿始终、永不断流的「残差流」。 它是一条信息高速公路。 每一层网络不是必须承重的台阶，是挂在这条主干道旁边的读写单元： 从主干道里读取当前的中间状态，在旁边算一小段修正量，再悄悄写回主干道。 这台机器不再是单向加工流水线，它变成了神经网络的「工作记忆」。 一旦看懂了这台机器，后面十年的所有技术脉络全部严丝合缝。 2017 年谷歌造 Transformer 时，把残差流直接塞进了注意力机制的骨架里。 2024 年 Meta 研究视觉大模型 DINOv2 时，发现了一个诡异现象。 网络为了使用这段工作记忆，会自动霸占背景里毫无意义的白墙和抽屉像素。 把它们当成暂存全局信息的草稿纸。 当研究人员给它加上几个专用的「寄存器标记」， 模型便顺理成章地把全局特征全存进了寄存器里。 1900 年，普朗克为了解决黑体辐射的紫外灾难， 随手假设能量是一份一份离散发射的。 他当时以为这只是一个凑公式的数学补丁。 那个补丁最终撬开了量子力学的大门。 ResNet 当年在层与层之间连上的那根加法跳线， 起初也常被当作一个精巧的工程技巧。 但现代人工智能真正跨过深度门槛的起点， 就是从认出那条残差流开始的。