1924 年贝尔实验室用来质检电话零件的一套三行统计公式,刚在顶级 AI 会议的标准测试集上,把过去十年研发的前沿深度学
1924 年贝尔实验室用来质检电话零件的一套三行统计公式,刚在顶级 AI 会议的标准测试集上,把过去十年研发的前沿深度学习模型全打穿了。 在心电图和海洋监测的时间序列数据里,这个一百年前的老算法跑出了 100% 的满分表现。 那些堆叠了数千万参数、在 NeurIPS、SIGKDD、VLDB 上发了一篇又一篇顶会论文的复杂神经网络,得分全部落后。 为什么最昂贵的现代算力,会在一百年前的纸笔数学面前溃败? 是深度学习在时间序列领域真的失效了,还是过去十年的学术繁荣本身就是一场巨大的幻觉? 加州大学河滨分校的计算机学者 Eamonn Keogh 把这场对决摆到了所有人眼前。 那套赢了现代 AI 的一百年前算法,叫统计过程控制(SPC)。 1924 年,工程师 Walter Shewhart 在贝尔实验室为了降低电话零件的不良率,画出了历史上第一张 3-sigma 控制图。 它的逻辑简单到初中生花五分钟就能看懂:算一个均值,上下画两条三倍标准差的红线,任何跳出红线的点,就是异常。 就是这么一套没有任何神经网络、没有反向传播、算力消耗几乎为零的公式,把主流学术界奉为黄金标准的 TSB-AD 基准测试集给通关了。 问题到底出在哪? 把这套学术工业的生产流水线拆开,会看到一台支配着科研生态的冰冷机器。 基准幻觉。 时间序列异常检测,是过去几年顶级 AI 会议上最火爆的赛道之一。 为了证明自己的新架构有效,所有人都在引用同一套公开测试集。 论文必须在基准榜单上刷出更高的准确率,才能通过同行评审,才能拿到顶会接收函。 却没人停下来去验一验:这套被所有人当成考卷的测试集,到底在考什么? Keogh 逐条检查了那些标准数据。 考卷上的所谓异常,充斥着人为制造的断崖式跳变、毫无伪装的巨大毛刺,或者是整齐划一的方波。 这就相当于给一群研究空气动力学的顶尖学者,发了一份只有十以内加减法的考卷。 为了在这份考卷上多拿 0.1 分,研究人员给模型接上注意力机制、对比学习、扩散架构,把网络层数越叠越厚。 复杂的神经网络在考卷上拼命拟合那些显而易见的粗糙痕迹,顺便把各种过度拟合的噪声也当成了特征。 而一百年前的休哈特控制图,只需要用一条三倍标准差红线,一毫秒就能把答案标得干干净净。 真正的现实世界,从来不按考卷出题。 当这套在测试集上刷到榜首的庞大模型,被扔进真正的工业现场时,崩溃立刻发生。 在阿拉斯加雪橇犬的奔跑生理监测里、在金枪鱼洄游的复杂声学轨迹里、在氢燃料电池的长期化学衰减里,异常从来不是一根突兀的尖刺。 它是潜伏在周期性震荡深处的一段微弱相位偏移,是传感器受潮后难以察觉的缓慢漂移。 在这些真正致命的现实异常面前,顶会榜单上的前沿模型几乎全军覆没。 过去十年里,几乎没有人去碰这些难啃的真实数据。 真实数据又脏又难清洗,模型跑上去分数难看,写不出能稳稳过审的论文。 整个研究领域就这样形成了一套完美的自循环闭环: 用简陋的数据做基准,用复杂的模型刷高分,在顶会上彼此引用、互相庆贺,把真正的工程硬骨头留给现实世界去承受损失。 古德哈特定律在半个世纪前就写明了规律:当一个指标变成目标,它就不再是一个好指标。 当学术界把基准分数当成技术进步本身,十年间堆出来的海量论文,最终只是在考卷上自娱自乐,真实世界的硬问题依然原封不动。 最昂贵的工程浪费,往往不发生在一无所获的失败里。 它发生在一个由精巧指标搭建的温室里,无数聪明的大脑在里面竭尽全力,把一道早就被一百年前解决的假问题,用最复杂的工具重新做了一万遍。
引用 / CITATIONS
No citations exported.
导出 / EXPORT
订阅 · SUBSCRIBE
新的深度解读发布时,会在每周简报里送到你邮箱。