{"id":"mb-20261021-f2b4f0","kind":"deep","title":"人类专家一年提速5倍、AI一个月再翻2倍：英伟达在PyTorch大会披露的CUDA代码自进化闭环","summary":"在2026年PyTorch大会上，英伟达工程师披露了惊人数据：顶尖团队历时一年将CUDA优化速度提升5倍后，前沿大模型仅用一个月就在此基础上再翻2倍，结合超大算子又提速1.5倍。文章深入拆解显卡底层算子的组合搜索困境、超大算子对显存带宽瓶颈的突破，以及芯片训练AI、AI反哺底层代码的自我加速闭环。","body":"写芯片底层的算子代码，可能是现在全世界最贵、也最折磨人的脑力劳动。\n\n年薪百万美金打底，全球能搞明白的人，掰着手指头数得过来。\n\n为什么这么难？\n\n因为显卡堆再多计算核心，只要底层代码稍微排错一步，几千个核心都在原地干等数据，算力直接缩水大半。\n\n想把芯片的性能彻底榨干，全靠顶级工程师手工抠细节。\n\n从 2025 年 10 月到 2026 年 8 月，英伟达的这帮底层专家死磕了整整一年。\n\n他们把自家 CUDA 软件的优化速度，拉快了整整 5 倍。\n\n在高性能计算领域，一年拿到 5 倍的提速，已经是极高水准的工程战果了。\n\n大家本来以为，这已经是人类调优代码的速度极限。\n\n结果到了 2026 年 9 月，前沿大模型被拉进了研发流程。\n\n局势瞬间变了。\n\n从 2026 年 9 月到 10 月，仅仅用了一个月。\n\n底层代码的优化速度，在之前 5 倍的基础上，直接又翻了整整 2 倍。\n\n人类顶尖团队花了一年才啃下来的提速成果，前沿大模型进场一个月，就直接给干翻了一倍。\n\n紧接着到了 10 月中旬，加上自动化编排和超大算子（MegaKernels），速度又往上蹿了 1.5 倍。\n\n大模型到底是怎么优化这些底层代码的？\n\n它真比年薪百万的资深工程师聪明吗？\n\n不用去比谁更有悟性，比的是谁能穷举显卡的物理极限。\n\n人类专家调优底层代码，靠的是经验、直觉和猜。\n\n算一算片上共享内存够不够用，猜一猜寄存器会不会溢出。\n\n改几个参数跑一次测试，看一眼性能分析报告。\n\n一个顶尖工程师就算拼尽全力，一天也就能试几十种参数组合，脑力就已经耗尽了。\n\n但是显卡底层的并行逻辑优化，面对的是极其庞大的组合搜索空间。\n\n一个矩阵怎么切块，几十个指令按什么顺序塞进流水线，不同计算线程怎么错峰读取内存。\n\n稍微变动几个维度，可能就会衍生出几十万种排列组合。\n\n人类的大脑根本装不下这么庞大的推演空间。\n\n但前沿大模型干这个，完全不知道疲倦。\n\n它熟读了芯片架构手册，能自己生成成千上万个算子变体，直接丢给真实芯片去跑测试。\n\n跑完之后抓回底层分析数据，看哪个时钟周期在堵车，顺着瓶颈一轮一轮定向微调。\n\n人类靠直觉根本想不到、甚至觉得反常识的指令排布方式，硬生生被它给搜了出来。\n\n更夸张的是超大算子（MegaKernels）。\n\n大模型在显卡上跑起来，平时要经历很多道工序。\n\n算完注意力机制，把结果写入显存；再从显存读出来做归一化；再存回去做激活函数。\n\n数据在芯片的核心与显存之间来回倒腾，路上全是交通堵塞。\n\n解决思路大家早就有：把这几个工序揉进同一个巨大的程序里，叫超大算子，让数据直接在芯片内部高速流转，绝不往外面的慢速显存跑。\n\n这套思路听起来很美，人类工程师却极难写出来。\n\n因为把这么多复杂的运算强行缝在一起，几千个线程的同步逻辑复杂到了极点，稍微有一处错位，整个显卡立刻崩溃，维护成本高到无法承受。\n\n但前沿模型处理这种高维度复杂约束，简直游刃有余。\n\n它能在几分钟内把这套盘根错节的超大算子重新编织一遍，严丝合缝，把启动延迟和显存读写直接抹掉一大截。\n\n整件事最耐人寻味的，是这里出现的自我加速闭环。\n\n英伟达制造出全球最强大的计算芯片，供全行业去训练最聪明的前沿大模型。\n\n训出来的前沿大模型，转头用来优化英伟达自己的底层 CUDA 代码。\n\n硬件不需要重新流片，制程一个纳米都不用缩小，仅仅靠大模型重构的底层软件，整张显卡的吞吐效率就成倍往上飙。\n\n软件跑得越快，训出来的模型就越聪明；更聪明的模型，又能写出更极限的底层软件。\n\n过去很多人总在猜，大模型写代码的能力越来越强，会不会把英伟达的软件护城河给拆了。\n\n这几天在 PyTorch 大会上披露的这组数字，给出了一个完全相反的答案。\n\nAI 没有拆掉护城河。\n\n相反，英伟达已经把最锋利的前沿大模型拿在手里，顺着自己的城墙，把护城河越挖越深了。","topic":"人类专家一年提速5倍、AI一个月再翻2倍：英伟达在PyTorch大会披露的CUDA代码自进化闭环","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-21 06:20:47","legal_anchor_count":0,"transcript_citation_count":0}