{"id":"mb-20261012-7a2c65","kind":"deep","title":"微软自研AI芯片Maia 300：破解内存墙与机柜功耗的算力账本","summary":"微软正式公布第三代自研AI芯片Maia 300，采用台积电增强型2纳米制程与8堆叠HBM4，单卡显存带宽冲上18TB/s。本文深入拆解大模型长上下文推理中的内存墙机制，解析96卡机柜如何在167千瓦功耗限制下实现每兆瓦多输出40%词元的工程逻辑。","body":"大模型吐字慢，真的只是因为芯片算力不够吗？\n真不是。\n很多时候，计算核心其实在里面干等。\n等数据从内存里慢吞吞地搬过来。\n\n这就是硬件工程师天天念叨的内存墙。\n大模型训练和日常推理，完全是两种逻辑。\n训练的时候，几千亿参数倒进去，矩阵乘法一通狂算，拼的是纯粹的算力峰值。\n但真到了用户日常调用，比如让 Copilot 写一段代码、在 Teams 里实时生成会议纪要，整个规则全变了。\n大模型是一个词元一个词元往外蹦的。\n每生成一个新词元，芯片就得把前面所有的对话上下文和模型权重，从内存里完完整整过一遍。\n如果对话拉长到几万甚至几十万字，需要搬运的数据量会成倍飙升。\n这时候计算核心跑得再快也没用。\n内存通道要是窄了，算力就只能咬着手指头排队，电量白白耗在等待上。\n\n微软公布的最新自研 AI 芯片 Maia 300，抓的就是这根痛筋。\n它的设计定位非常明确：推理优先。\n怎么解决算力饿肚子的问题？\n微软用了最硬核的解法：把内存通道拓宽到极致。\n这颗芯片上直接堆了 8 堆叠的 HBM4 高带宽内存。\n单颗芯片的内存带宽，直接拉到了惊人的 18TB/s。\n这是什么概念？\n上一代 Maia 200 带宽已经不低，而 Maia 300 直接是上一代的 2.5 倍。\n一秒钟能把 18TB 的数据喂进计算核心。\n光把外面的路拓宽还不够。\n微软还在芯片内部塞了一大块片上静态随机存储器（SRAM），充当高速草稿纸。\n高频调用的数据直接留在草稿纸上算，不用频繁去敲高带宽内存的门，尽量减少数据搬移的物理距离。\n\n要撑起这种吞吐，芯片本身的制造也下了血本。\n微软采用了多小芯片架构。\n负责计算的小芯片，交给台积电用增强型 2 纳米制程（TSMC N2P）代工。\n内存控制器和输入输出接口则拆开做成独立小芯片，再封装到一起。\n单颗芯片的热设计功耗控制在 950 瓦。\n在计算格式上，它原生支持增强型 MXFP4 这种微缩低精度格式。\n精度一压缩，内存带宽和容量需求立刻大幅下降。\n同样的功耗范围内，系统既能塞下更长的上下文窗口，还能大幅拉高单位时间的吞吐量。\n\n在数据中心里，芯片做得再强，最终都要撞上同一堵墙：\n电网与机柜功耗极限。\n机房能分到的电力额度是锁死的，机柜的散热能力也有上限。\n现在的云计算巨头早就不只盯单纯的跑分。\n大家真正在争的，是谁能在锁死的电表读数下，榨出最多的词元。\n看微软给出的机柜账本：\n一个标准机柜塞进 96 颗 Maia 300 加速卡。\n整机柜的高带宽内存总容量达到 27.6TB，聚合内存带宽达到了 1.7PB/s。\n整个机柜的功耗被死死锁在 167 千瓦以内。\n在同样 167 千瓦的电表读数下，这个机柜的词元吞吐量，达到了上一代 Maia 200 机柜的 7 倍。\n要是和目前主流的高端 GPU 系统相比，每兆瓦电力多产出 40% 的词元。\n\n算力竞争打到今天，底层的账本其实已经变了。\n前两年行业在比拼谁能抢到更多显卡去炼丹。\n但当 AI 真正落地到办公软件、代码助手和自主智能体里，每天都在产生上亿次高频交互。\n这时候决定商业成本的底线变了。\n每一次调用的电费和响应速度，成了最真实的生死线。\n从盲目堆算力转向死磕数据搬运与能效比，微软这颗自研芯片给出的思路很直接：\n先把芯片喂饱，算力才能真正省下钱来。","topic":"微软自研AI芯片Maia 300：破解内存墙与机柜功耗的算力账本","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-12 16:11:37","legal_anchor_count":0,"transcript_citation_count":0}