人类死磕35年的矩阵乘法极限,被AI用3小时跳跃式攻破
两个矩阵相乘,到底最少需要算多少步?
课本教给我们的老办法,是 n 的 3 次方步。 如果两个矩阵边长是一千,乘一次就要老老实实算十亿步。 今天的图形渲染、物理仿真,还有大模型训练里的海量计算,底层全在疯狂跑这个矩阵乘法。
1969 年,德国数学家施特拉森发现了新算式,把这个指数从 3 砍到了 2.81。 到了 1990 年,考珀史密斯和维诺格拉德又把它压到了 2.375。 接下来整整 35 年,全世界理论计算机界几乎撞上了一堵钢板。
全世界最聪明的一批数学家,像拿着镊子抠指甲缝一样,一毫米一毫米地往下抠: 2.373、2.3728、2.3718、2.3715。 耗费了 35 年心血,人类总共才往前挪了大约 0.005。 大家一度怀疑,2.37 是不是就是大自然给算法定下的极限了。
结果这两天,OpenAI 突然公布了 722 篇机器生成的数学论文。 其中一篇由未发布的前沿模型琢磨了 3 个小时搞出来的成果,直接把矩阵乘法指数压到了 2.25。 也就是四分之九。
从 2.371 到 2.25,一口气跳了 0.12。 这一跳的距离,是人类过去 35 年推进总和的二十多倍。 康奈尔大学数学家斯托罗加茨发了一条推文: 这就像 1968 年墨西哥城奥运会上,比蒙跳出的那一跳。
比蒙跳远是什么意思? 1968 年墨西哥城奥运会,男子跳远世界纪录是 8.35 米。 过去几十年里,全世界顶级运动员每次破纪录,都是几厘米甚至几毫米地往前磨。 结果鲍勃·比蒙助跑起跳,一脚跳出了 8.90 米。 直接把世界纪录往前轰了整整 55 厘米。 当时赛场准备的光学测距仪最大量程都不够用,裁判只能临时找来一根钢卷尺去量。 这个纪录在人类历史上整整躺了 23 年。 在科学界,大家把这种完全不讲道理的断层式跨越,叫做比蒙奇迹。 斯托罗加茨用这个比喻,就是因为 2.25 这个数字,原本被很多同行认为这辈子都看不到了。
看到这里,大家最关心的肯定是一件事: 那是不是下周显卡算力就能翻倍,大模型训练速度能暴涨了?
答案是:完全不会。 不仅下周不会,未来几年大概率也不会。 为什么? 理论计算机里有一个专门的称呼,叫银河算法。 我们平时聊的指数 2.25,指的是渐近复杂度。 意思是当矩阵的尺寸大到无穷大的时候,它的计算步数增长趋势是 n 的 2.25 次方。 但这套精巧的算法前面,往往拖着一个大到不可思议的常数。 如果要让 2.25 的速度真正超过显卡里跑的普通算法,那个矩阵的边长,可能要比宇宙里的原子总数还要大。 在实际能用到的矩阵规模下,传统的简单方法反而比它快得多。
既然实际算力暂时用不上,那数学界到底在激动什么?
他们真正在意的有两件事。
第一件事,是它推倒了一堵死墙。 过去 35 年,人类之所以只能在千分位上打转,是因为大家都陷在一种叫做激光法的研究路线上。 后来甚至有学者证明,顺着激光法走下去,前面很快就是理论死胡同。 全世界顶尖大脑全被堵在那条狭窄的小巷里。 而这次的论文完全跳出了激光法,改从多项式乘法的效率另辟蹊径,重新架了一座桥。 它告诉所有人,那堵困了人类几十年的铁壁并非不可逾越,大家之前只是把路走窄了。
第二件事,是它的验证方式。 以往出现这种断层式的大跨越,数学界往往要花好几年去人工排查推导漏洞。 但这次的论文附带了形式化语言 Lean 的完整代码。 它把每一步逻辑推导,全写成了计算机可以直接检验的机器代码。 编译器跑一遍,逻辑链条清清楚楚。 虽然严格的同行评审还在进行,但能拿出机器自验代码,已经把粗心算错的概率降到了极低。
一个困扰了人类半个多世纪的基础难题,几代顶尖学者苦熬了 35 年。 最后换来巨大突破的,是一台机器在几千个问题里琢磨了几个小时给出的新思路。 也许它今天还不能帮你把显卡温度降下来。 但它至少说明了一件事: 在纯粹抽象的思维荒原里,人类探索了几千年的数学地图,可能真的还有大片我们从未踩过的天地。
引用 / CITATIONS
No citations exported.
同领域解读 / AI & LLMS
导出 / EXPORT
订阅 · SUBSCRIBE
每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。