{"source":{"id":"mb-20260828-4b1855","title":"为了让边缘设备省下 2.7% 的电，装上最复杂的 Transformer 模型做能耗预测","url":"https://mubeitech.com/p/mb-20260828-4b1855"},"method":"semantic-similarity","count":6,"items":[{"rank":1,"id":"mb-20260827-c46740","account":"mubei","brand":"","title":"训一个几千亿参数的大模型，上万张最顶级的显卡，有一大半时间根本没在算","summary":"训一个几千亿参数的大模型，上万张最顶级的显卡，有一大半时间根本没在算","body":"训一个几千亿参数的大模型，上万张最顶级的显卡，有一大半时间根本没在算。\n算力租金按秒扣费，电表飞速打转，机房风扇震耳欲聋。\n但芯片的浮点运算单元，却在成片成片地熄火发呆。\n业界的真实数字冷冰冰摆在那里。\n哪怕是顶尖实验室，模型算力利用率通常也只有 35% 到 43%。\n剩下的六成算力，蒸发去了哪里？\n是算法写得太慢，还是代码逻辑不够优化？\n为什么在 Python 里写得整整齐齐的线性代码，扔进上万张显卡之后，会碎成一地残渣？\n这台让万亿资本买来的算力大面积瘫痪的机器，叫通信重叠与关键路径气泡。\n要看懂这台机器，先看单张显卡和集群的本质区别。\n单张显卡训练很简单：数据喂进显存，核心埋头计算。\n但千亿参数的大模型，根本塞不进任何单张显卡的显存。\n工程师必须把模型生生切碎，分摊到几千甚至上万张显卡上。\n张量并行把每一层的矩阵乘法横竖切开。\n全分片数据并行把模型参数、梯度和优化器状态彻底剥离。\n专家并行和上下文并行把海量参数和数十万字的序列切散。\n这种切分带来了一个致命代价。\n任何一张显卡想要算下一层网络，必须先等别的显卡把中间结果传过来。\n在硬件底层，显卡从来不是按代码顺序单线推进的。\n它跑在两条平行的硬件轨道上。\n一条是负责矩阵乘法的高速计算流。\n一条是负责跨卡数据搬运的通信流。\n这两条轨道在时间线上贴身肉搏。\n最理想的状态，是当前层在计算流里疯狂运转时，下一层要用的参数已经在通信流里提前搬运完毕。\n这在工程上叫计算与通信重叠。\n只要算力跑完的瞬间数据刚好到位，跨卡通信的耗时就被彻底藏在计算背后。\n但物理现实没有这么仁慈。\n跨机柜的光纤只要有一丝抖动，或者层与层之间的依赖拓扑解不开，通信就会慢上几个微秒。\n一旦计算流算完了，而通信流的数据还没送达，硬件同步机制会瞬间踩下急刹车。\n在底层的执行轨迹图上，显卡会留下一大片空白。\n工程上把这片空白叫气泡。\n只要这个气泡落在了决定整体速度的关键路径上，几万张每小时烧掉几万美元的显卡，就必须集体陪着它原地发呆。\nAI 研究者 Vlad Savinov 拆解过 PyTorch 官方分布式训练框架 torchtitan 的真实底层轨迹。\n把掩盖在代码背后的底层事件拉平在时间轴上，才能看清真相。\n算力根本不是平铺直叙的流水线，是一张充满阻塞、等待与抢跑的有向无环图。\nMeta 训练 4050 亿参数的 Llama 3.1 时，动用了 1.6 万张 H100 显卡。\n即便用尽了交错流水线调度、异步张量并行与微块切分，把能重叠的通信全部塞进计算缝隙，整体算力利用率依然被锁在 40% 左右。\n这就是为什么 AI 军备竞赛的底层法则正在发生质变。\n很多人看算力竞争，习惯盯着谁买了十万张显卡，以为算力是简单的乘法累加。\n在超大规模分布式系统里，算力遵循的是残酷的拓扑规律。\n芯片堆得越多，通信复杂度的爆炸速度就越快，时间轴上的气泡就越难被压平。\n真正拉开顶尖实验室差距的，从来不是买显卡的支票厚度。\n是在微秒级的时间轴上，把跨卡通信死死压进计算缝隙里的工程编排能力。\n谁能把通信完全藏进阴影里，谁就能用一半的芯片跑出对手两倍的速度。\n藏不住通信的，买再多显卡，也不过是在高昂的电费账单里，养了一大堆在网线面前排队发呆的昂贵发热器。","category":"科技","score":null,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-08-27 11:28:33","created_at":"2026-08-27 11:28:33","url":"https://mubeitech.com/p/mb-20260827-c46740","markdown_url":"https://mubeitech.com/p/mb-20260827-c46740/markdown"},{"rank":2,"id":"mb-20260825-bb71f5","account":"mubei","brand":"","title":"在很多技术发布会和基准测试榜单上，大模型编写底层 GPU 算子代码，已经能跑出惊人的成绩","summary":"在很多技术发布会和基准测试榜单上，大模型编写底层 GPU 算子代码，已经能跑出惊人的成绩","body":"在很多技术发布会和基准测试榜单上，大模型编写底层 GPU 算子代码，已经能跑出惊人的成绩。\n在开源微基准测试 KernelBench 上，AI 智能体写出来的算子不仅全部通过单元测试，还能比官方库快出两三倍。\n但只要把这些在沙盒里跑赢的算子，真正塞进一个完整的大模型推理脚本里，车祸立刻发生。\n原本在单点测试里快如闪电的代码，一进真实业务毫无起色，甚至直接引发显存溢出和隐性崩溃。\n为什么在孤立测试台上跑分的顶级算子，一进真实生产环境就失灵？\n是基准测试的题目太假，还是我们在测量代码性能的时候，从一开始就看错了物理现实？\n拆开现代 GPU 的算力黑箱，会看到一条横亘在实验室跑分和真实系统之间的冰冷断层。\n基准测试与部署断层（Benchmark-to-Deployment Gap）。\narXiv 最新发表的一篇论文（arXiv:2608.21836，已被 EMNLP 2026 主会录用），由学者 Hui Zeng 等人把这个行业痛点彻底扒开了。\n过去大家优化算子，习惯把注意力集中在单点上：把一个注意力机制、矩阵乘法或者激活函数单独抽出来，扔进一个无菌的测试台里。\n在孤立的测试台里，算子吃的是形状固定、连续规整的干净张量，缓存被预热到最佳状态，完全没有其他任务来抢资源。\n但在一个真实运转的大模型推理工作流里，根本不存在这种理想无菌的环境。\n大模型推理由两个物理特性完全不同的阶段咬合而成。\n第一个阶段是首字预填充（Prefill）。\n几十上百个提示词词元同时涌入，算力被瞬间拉满，GPU 处于计算受限状态。\n第二个阶段是逐字生成（Decode）。\n模型一个词元一个词元往外吐，每吐一个词都要去显存里读取一次庞大的键值缓存（KV Cache），GPU 瞬间切换到显存带宽受限状态。\n一个在孤立测试台上被调优到极速的算子，对这两个截然不同的动态阶段一无所知。\n它为了在单点测试里刷出高分，可能会贪婪地霸占所有的寄存器和共享显存。\n一旦回到真实的多层神经网络里，这种贪婪会直接破坏上下文的显存布局，导致相邻算子发生寄存器溢出，把整条流水线的吞吐量拖入泥潭。\n单次测试里看似微小的数值误差，在自回归生成的几百轮循环中，还会迅速滚成雪崩式的精度偏离。\n这就是孤岛微基准测试给整个行业制造的局部最优幻觉。\n单点算子没有问题。\n问题是它脱离了系统上下文。\n为了打破这道断层，研究团队提出了一个闭环优化框架 LLM4LLM。\n它不再把算子关在孤立的沙盒里调优。\n它的起点直接扎在真实的目标推理脚本里。\n接着做阶段感知拆解：在首字预填充和逐字生成两个阶段，分别抓取真实的显存压力和延迟瓶颈。\n随后由经验引导的幕式智能体探索 Triton 和 CUDA 代码空间。\n最后接入最关键的一道闭环：模型内验证（In-Model Validation）。\n每一个生成的代码补丁，不跑虚假的单点跑分，必须直接插入完整的十多层模型权重中，带上真实的键值缓存跑完端到端全流程。\n只有端到端总延迟真正下降、精度完全合规的代码，才会被系统接收。\n这套把优化拉回真实生产环境的系统，跑出了硬碰硬的实测数据。\n在 A100 和 H100 GPU 上针对 10 个主流大模型推理工作流进行测试，每一个模型的端到端延迟全部实现大幅改善。\n在 A100 上取得 3.91 倍的几何平均加速。\n在 H100 上取得 6.98 倍的几何平均加速。\n作为底层算子能力的交叉印证，在 KernelBench 第二级别测试上也同时斩获 2.745 倍的几何平均提速。\n把代码优化从无菌沙盒搬进真实的系统骨架，换来的是近 7 倍的真实性能跃迁。\n在高度复杂的现代计算堆栈里，脱离系统上下文的局部最优，往往只是测量工具给出的纸面富贵。\n一行真正高效的底层代码，从来不是孤立的数学公式。\n它是咬合在整台机器动态齿轮里的精密零件。","category":"科技","score":null,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-08-25 12:04:39","created_at":"2026-08-25 12:04:39","url":"https://mubeitech.com/p/mb-20260825-bb71f5","markdown_url":"https://mubeitech.com/p/mb-20260825-bb71f5/markdown"},{"rank":3,"id":"mb-20260827-46d0c4","account":"mubei","brand":"","title":"从 A100 到 B200，显卡的张量计算吞吐暴涨了 7.2 倍","summary":"从 A100 到 B200，显卡的张量计算吞吐暴涨了 7.2 倍","body":"从 A100 到 B200，显卡的张量计算吞吐暴涨了 7.2 倍。\n但机箱里卡和卡之间的通信通道，只提升了 3 倍。\n跨机柜的互连网络，更是只涨了 2 倍。\n这道越撕越大的剪刀差，把整个算力工业逼到了墙角。\n今天大模型训练和推理的真正瓶颈，早就不在单张显卡算得多快。\n在卡和卡之间的数据通道有多窄。\n如果你直接用官方默认的 PyTorch 和 NCCL 组合去跑分布式任务，整套集群的实际性能，连理论通信屋顶线的一半都跑不到。\n一半的硬件算力，纯粹在原地干等数据搬运。\n既然通道不够宽，为什么不能在写代码的时候，把数据搬运和核心计算在时间上彻底叠在一起？\n只要重叠得足够精妙，计算的时间就能把通信的等待完全吃掉。\n顶尖的系统工程师确实做到了。\nTogether AI 的 Simran Arora 团队写出了 ParallelKittens，只往单卡算子里加了十几行底层原语，直接走 NVLink 调度硬件，在生产环境里把性能拉满，跑进了 Together AI 和 Cursor 的核心系统。\n真正的硬仗在后面。\n如果把这套多卡调优的任务，交给今天最顶尖的代码大模型，它能写得出来吗？\n答案打碎了很多人对 AI 编程的幻想。\n研究团队建了一个包含 87 道工业级多卡难题的基准 ParallelKernelBench。\n给模型一份没优化的基础代码和物理硬件拓扑图，让它写出直接操控 NVLink 搬运数据的 CUDA 算子。\n最强的前沿大模型单次上阵，87 道题里只写对了 28 道。\n这 28 道里，真正跑得比基线更快的，只有 22 道。\n哪怕给它疯狂采样、多抽几次结果，正确题数也只能勉强摸到 36 道。\n既写对又跑得更快的比例，被死死钉在 31% 附近。\n哪怕给它配上完整的多轮智能体环境，给它命令行终端去反复试错调试，最终也只停留在 35 道。\n大模型到底卡死在哪里？\n很多人以为是它写不好复杂的 CUDA 语法。\n完全猜错了。\n大模型其实格外擅长语法，编译报错只要让它重试一次就能修正。\n真正让它全线崩溃的，是一张它脑子里根本不存在的硬件物理拓扑图。\n要写出极致的多卡算子，程序员必须在硬件物理层做精细的三重权衡。\n第一重，是卡与卡之间通信顺序的时序编排。\n第二重，是海量数据在多张卡之间的切分与重组逻辑。\n第三重，是物理搬运路径的取舍。\n到底该走专用的硬件拷贝引擎，还是调用张量内存加速器 TMA，或者直接把数据塞进寄存器级别传输？\n每一种路径的延迟、带宽占用和流式多处理器开销，全都不一样。\n大模型之所以能写对前面两成题目，是因为那些模式在开源互联网上被反复写过，它只是在记忆里匹配既有模版。\n一旦面对真实的硬件物理瓶颈，需要根据显卡拓扑结构去推演数据流的碰撞与等待，它就彻底失去了方向。\n它背得下世界上所有的编程语法。\n但它从未真正理解过物理世界的电子和光子，是怎样在硅片与铜线之间穿梭的。\n软件层面的代码生成，只要逻辑闭环、通过单元测试就能交差。\n但当 AI 试图去优化物理世界的极端性能，一切语法技巧都会在硬件的物理铁律面前现出原形。\n算力跑得越快，通信的阻力就越致命。\n那些能够把代码写得符合语法的系统，永远只是第一步。\n真正能把几十万颗芯片捏成一台巨型计算机的，永远是对物理极限和空间拓扑的深刻理解。","category":"科技","score":null,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-08-27 21:12:42","created_at":"2026-08-27 21:12:42","url":"https://mubeitech.com/p/mb-20260827-46d0c4","markdown_url":"https://mubeitech.com/p/mb-20260827-46d0c4/markdown"},{"rank":4,"id":"mb-20260827-0059ff","account":"mubei","brand":"","title":"年薪 50 万美元的硅谷工程师，年底被考核的指标，居然是一年有没有烧掉 25 万美元的算力","summary":"年薪 50 万美元的硅谷工程师，年底被考核的指标，居然是一年有没有烧掉 25 万美元的算力","body":"年薪 50 万美元的硅谷工程师，年底被考核的指标，居然是一年有没有烧掉 25 万美元的算力。\n黄仁勋在访谈里给出了一个标准：如果一个年薪 50 万的工程师没消耗 25 万美元的 Token，他会感到极度不安。\n硅谷随之掀起了一场叫 Tokenmaxxing 的算力消耗狂欢。\n创业公司在办公室大屏幕上挂出员工消耗排行榜，谁烧的 Token 最多，谁就是明星员工。\n法律科技公司 Harvey 一个月的消耗量暴涨到 12 万亿个 Token。\nDatabricks 首席执行官公开表扬单人烧掉 7000 美元 Token 的工程师。\n管理层深信一条公式：消耗的 Token 越多，代表员工越拥抱 AI，生产力就越高。\n然而不到半年，账单砸回了现实。\nUber 的技术官在访谈里承认，他们仅仅 4 个月就烧光了全年的 AI 预算，不得不推倒重来。\nMeta 开始对每个员工设定算力消耗上限，微软取消独立的 Claude 授权，各大公司的算力英雄榜被连夜撤下。\n为什么一场为了提升效率的技术升级，最后演变成了一场失控的算力浪费竞赛？\n把这笔账算到底，会看到一台在管理学和软件工程里运转了半个世纪的冰冷机器。\n古德哈特定律。\n1975 年英国经济学家查尔斯·古德哈特（Charles Goodhart）提出过一条铁律：\n当一个度量指标被选作管理目标时，它就立刻不再是一个有效的度量指标。\n软件工程界对这个坑再熟悉不过。\n上世纪 80 年代，IBM 用「代码行数（Lines of Code）」考核程序员的生产力。\n结果工程师为了达标，把三行逻辑拆成三十行，在项目里塞满毫无意义的废话。\n四十年后，代码行数换了一件马甲，变成了 Token。\n使用 AI 提升产出，消耗 Token 本来只是一个连带的成本。\n一旦管理层把「烧了多少 Token」反向定为衡量员工能力的考核指标，整个工程激励瞬间变形。\n工程师为了冲上排行榜，把整本几十万字的技术文档和无关依赖包整坨塞进上下文窗口。\n查一个简单的语法定义，也要调用最昂贵的旗舰推理模型跑几万字的思维链。\n在 Transformer 的自注意力机制里，上下文窗口每翻一倍，计算复杂度就面临二次方级别的飙升。\n多轮对话里的每一次提问，都在对前面堆叠的几十万个 Token 进行全量重复计算。\n这在工程账单上形成了一个隐形的底价地板。\n哪怕只输出一个单词，企业也要为之前堆叠的所有历史垃圾全额买单。\n旗舰模型的单价是优化模型的 5 到 10 倍。\n模型产出的代码质量没有质变，企业的算力账单先膨胀了十倍。\n企业花重金想要买的是最终结果。\n管理系统奖励的，却是原料的焚烧速度。\n红杉资本和 HubSpot 首席执行官最后不得不出来纠偏：产出最大化，从来不等于消耗最大化。\n把输入指标当成产出指标，把资源消耗当成生产能力。\n当一个组织开始用「你消耗了多少资源」来衡量「你创造了多少价值」时，它得到的永远不会是更高的生产力。\n它只会迅速筛选出一群精通如何把资源烧光的专家。","category":"科技","score":null,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-08-27 11:28:34","created_at":"2026-08-27 11:28:34","url":"https://mubeitech.com/p/mb-20260827-0059ff","markdown_url":"https://mubeitech.com/p/mb-20260827-0059ff/markdown"},{"rank":5,"id":"2060627433183912179","account":"mubei","brand":"@mubei","title":"AI 数据中心现在的最大瓶颈，早就不是芯片够不够了，而是怎么不让这些吞金兽把自己烧掉。 算力的代价，是惊人的发热量。 短…","summary":"AI 数据中心现在的最大瓶颈，早就不是芯片够不够了，而是怎么不让这些吞金兽把自己烧掉。 算力的代价，是惊人的发热量。 短短 5 年，GPU 的发热量翻了一倍多。 现在一个数据中心，光是制冷系统就要吃掉 30% 到 40% 的总耗电。 传统的空调机房，已经到了物理极限。 于是，日本…","body":"AI 数据中心现在的最大瓶颈，早就不是芯片够不够了，而是怎么不让这些吞金兽把自己烧掉。\n\n算力的代价，是惊人的发热量。\n短短 5 年，GPU 的发热量翻了一倍多。\n现在一个数据中心，光是制冷系统就要吃掉 30% 到 40% 的总耗电。\n传统的空调机房，已经到了物理极限。\n于是，日本的富士电机、日本电产、三菱重工这些硬核制造巨头，正在疯狂抢占一个新风口：液冷。\n\n以前怎么降温？靠吹风。\n但空气导热性实在太差了。\n为了控制室温，你得用巨型风扇狂吹，留出宽阔的风道，安排冷热通道布局，费劲把整个房间的温度降下来。\n液冷改变了玩法。\n不去管房间热不热，直接把冷金属板贴在 GPU 或 CPU 上。\n冷液体在金属板内的微小通道里流淌，直接把芯片的热量带走。\n\n为什么必须上液体？\n因为 AI 机架的热密度太夸张了。\n在极小的空间里疯狂发热，你想靠增加风量来降温，噪音、耗电和物理空间根本不允许。\n而液体的载热能力远超空气。\n通过更小的管道，带走更多的热，芯片温度更稳，还省下了给整个房间吹冷气的冤枉电费。\n\n当然，门槛也很高。\n液体系统贵得多，一旦漏水直接全剧终，防漏接头必须极其精密。\n而且这玩意不能事后随意添加，必须在服务器机架设计的第一天，就把它融进图纸里。\n\n当我们惊叹于 AI 迭代的速度时，别忘了支撑它的底层。\n在代码狂欢的背后，是一场与能源、热力学极限贴身肉搏的硬核工业战。","category":"其它","score":100,"translated_x_url":"https://x.com/i/status/2061527043192320429","translated_status_id":"2061527043192320429","published_at":"2026-06-01 18:50:23","created_at":"2026-06-01T20:48:32.084707","url":"https://mubeitech.com/p/2060627433183912179","markdown_url":"https://mubeitech.com/p/2060627433183912179/markdown"},{"rank":6,"id":"mb-20260823-f590d9","account":"mubei","brand":"","title":"一台 4700 美元的个人电脑，能在本地跑动参数量上千亿的顶级大模型","summary":"一台 4700 美元的个人电脑，能在本地跑动参数量上千亿的顶级大模型","body":"一台 4700 美元的个人电脑，能在本地跑动参数量上千亿的顶级大模型。\n跑出 47 tok/s 的推理速度，还顶着 400k 的超长上下文。\n很多人的第一反应是：这肯定把模型压成了人工智障。\n在过去的认知里，把超大模型塞进个人电脑，唯一的方法是死磕量化。\n把权重从 16 位浮点数一路压到 4 位、3 位，甚至 2 位。\n但单维度的压缩很快就会撞墙。\n位宽压得太狠，量化误差指数级爆发，模型直接开始胡言乱语。\n另一条路是剪枝。\n可传统密集模型的剪枝同样行不通：零散剔除的权重破坏了规整的矩阵结构，显卡根本跑不出硬件加速。\n两边都走不通，很多人便认定：顶级算力永远只能锁在云端机房。\n为什么 4700 美元的桌面设备能把这堵墙撞碎？\n因为真正的突破，从来不在单一维度上硬挤。\n它把两台方向完全不同的压缩机器叠在了一起。\n这台机器叫正交压缩。\n混合专家模型架构给算法提供了一个前所未有的结构切口。\n在这种架构里，模型是由数十个甚至上百个细分专家组成的网络。\n每生成一个词，真正被激活的只有少数几个专家。\n开源开发者 0xSero 借助 REAP 专家激活剪枝算法，先给所有专家跑了一轮校准。\n算法找出了那些在绝大多数任务中几乎从不响应的低频专家，整块剥离。\n整整 18.5% 的结构冗余被干脆利落地砍掉，而每个词调用的核心专家预算完好无损。\n这是第一步：在结构维度上剔除闲置专家。\n紧接着，在剩下的骨干专家身上，套上 turboderp 开发的 EXL3 算法，进行 3-bit 精度量化。\n这是第二步：在数值维度上压缩权重的位宽。\n两个动作是正交的。\n剪枝清理的是结构冗余，量化清理的是数值冗余。\n因为攻击的是两个互不干扰的独立维度，两者的压缩收益直接相乘，却避开了单一技术推向极限时的崩塌风险。\n显存占用被砍掉了一大截，每秒吞吐量却保住了。\n算力行业过去几年一直在制造一种云端垄断的恐慌。\n数千亿美元砸进集中式算力中心，普通人似乎只能按字数向云端服务器交租。\n但计算技术的演进，从来不会单向偏向中心化。\n算法在正交维度的每一次解耦，都在以乘数效应拉低硬件的成本底线。\n当一台桌面级的消费硬件，就能流畅运转过去需要整个机架才能支撑的智能。\n算力的主权，就不再只能被锁在巨头的数据中心里。\n决定智能普及速度的，不只是巨头烧了多少资本开支。\n更在底层算法如何把昂贵的门槛，一步步砸进每个普通开发者的书桌。","category":"科技","score":null,"translated_x_url":null,"translated_status_id":null,"published_at":"2026-08-23 00:21:49","created_at":"2026-08-23 00:21:49","url":"https://mubeitech.com/p/mb-20260823-f590d9","markdown_url":"https://mubeitech.com/p/mb-20260823-f590d9/markdown"}]}