人类专家一年提速5倍、AI一个月再翻2倍：英伟达在PyTorch大会披露的CUDA代码自进化闭环

写芯片底层的算子代码，可能是现在全世界最贵、也最折磨人的脑力劳动。

年薪百万美金打底，全球能搞明白的人，掰着手指头数得过来。

为什么这么难？

因为显卡堆再多计算核心，只要底层代码稍微排错一步，几千个核心都在原地干等数据，算力直接缩水大半。

想把芯片的性能彻底榨干，全靠顶级工程师手工抠细节。

从 2025 年 10 月到 2026 年 8 月，英伟达的这帮底层专家死磕了整整一年。

他们把自家 CUDA 软件的优化速度，拉快了整整 5 倍。

在高性能计算领域，一年拿到 5 倍的提速，已经是极高水准的工程战果了。

大家本来以为，这已经是人类调优代码的速度极限。

结果到了 2026 年 9 月，前沿大模型被拉进了研发流程。

局势瞬间变了。

从 2026 年 9 月到 10 月，仅仅用了一个月。

底层代码的优化速度，在之前 5 倍的基础上，直接又翻了整整 2 倍。

人类顶尖团队花了一年才啃下来的提速成果，前沿大模型进场一个月，就直接给干翻了一倍。

紧接着到了 10 月中旬，加上自动化编排和超大算子（MegaKernels），速度又往上蹿了 1.5 倍。

大模型到底是怎么优化这些底层代码的？

它真比年薪百万的资深工程师聪明吗？

不用去比谁更有悟性，比的是谁能穷举显卡的物理极限。

人类专家调优底层代码，靠的是经验、直觉和猜。

算一算片上共享内存够不够用，猜一猜寄存器会不会溢出。

改几个参数跑一次测试，看一眼性能分析报告。

一个顶尖工程师就算拼尽全力，一天也就能试几十种参数组合，脑力就已经耗尽了。

但是显卡底层的并行逻辑优化，面对的是极其庞大的组合搜索空间。

一个矩阵怎么切块，几十个指令按什么顺序塞进流水线，不同计算线程怎么错峰读取内存。

稍微变动几个维度，可能就会衍生出几十万种排列组合。

人类的大脑根本装不下这么庞大的推演空间。

但前沿大模型干这个，完全不知道疲倦。

它熟读了芯片架构手册，能自己生成成千上万个算子变体，直接丢给真实芯片去跑测试。

跑完之后抓回底层分析数据，看哪个时钟周期在堵车，顺着瓶颈一轮一轮定向微调。

人类靠直觉根本想不到、甚至觉得反常识的指令排布方式，硬生生被它给搜了出来。

更夸张的是超大算子（MegaKernels）。

大模型在显卡上跑起来，平时要经历很多道工序。

算完注意力机制，把结果写入显存；再从显存读出来做归一化；再存回去做激活函数。

数据在芯片的核心与显存之间来回倒腾，路上全是交通堵塞。

解决思路大家早就有：把这几个工序揉进同一个巨大的程序里，叫超大算子，让数据直接在芯片内部高速流转，绝不往外面的慢速显存跑。

这套思路听起来很美，人类工程师却极难写出来。

因为把这么多复杂的运算强行缝在一起，几千个线程的同步逻辑复杂到了极点，稍微有一处错位，整个显卡立刻崩溃，维护成本高到无法承受。

但前沿模型处理这种高维度复杂约束，简直游刃有余。

它能在几分钟内把这套盘根错节的超大算子重新编织一遍，严丝合缝，把启动延迟和显存读写直接抹掉一大截。

整件事最耐人寻味的，是这里出现的自我加速闭环。

英伟达制造出全球最强大的计算芯片，供全行业去训练最聪明的前沿大模型。

训出来的前沿大模型，转头用来优化英伟达自己的底层 CUDA 代码。

硬件不需要重新流片，制程一个纳米都不用缩小，仅仅靠大模型重构的底层软件，整张显卡的吞吐效率就成倍往上飙。

软件跑得越快，训出来的模型就越聪明；更聪明的模型，又能写出更极限的底层软件。

过去很多人总在猜，大模型写代码的能力越来越强，会不会把英伟达的软件护城河给拆了。

这几天在 PyTorch 大会上披露的这组数字，给出了一个完全相反的答案。

AI 没有拆掉护城河。

相反，英伟达已经把最锋利的前沿大模型拿在手里，顺着自己的城墙，把护城河越挖越深了。