微软自研AI芯片Maia 300：破解内存墙与机柜功耗的算力账本

大模型吐字慢，真的只是因为芯片算力不够吗？ 真不是。 很多时候，计算核心其实在里面干等。 等数据从内存里慢吞吞地搬过来。

这就是硬件工程师天天念叨的内存墙。 大模型训练和日常推理，完全是两种逻辑。 训练的时候，几千亿参数倒进去，矩阵乘法一通狂算，拼的是纯粹的算力峰值。 但真到了用户日常调用，比如让 Copilot 写一段代码、在 Teams 里实时生成会议纪要，整个规则全变了。 大模型是一个词元一个词元往外蹦的。 每生成一个新词元，芯片就得把前面所有的对话上下文和模型权重，从内存里完完整整过一遍。 如果对话拉长到几万甚至几十万字，需要搬运的数据量会成倍飙升。 这时候计算核心跑得再快也没用。 内存通道要是窄了，算力就只能咬着手指头排队，电量白白耗在等待上。

微软公布的最新自研 AI 芯片 Maia 300，抓的就是这根痛筋。 它的设计定位非常明确：推理优先。 怎么解决算力饿肚子的问题？ 微软用了最硬核的解法：把内存通道拓宽到极致。 这颗芯片上直接堆了 8 堆叠的 HBM4 高带宽内存。 单颗芯片的内存带宽，直接拉到了惊人的 18TB/s。 这是什么概念？ 上一代 Maia 200 带宽已经不低，而 Maia 300 直接是上一代的 2.5 倍。 一秒钟能把 18TB 的数据喂进计算核心。 光把外面的路拓宽还不够。 微软还在芯片内部塞了一大块片上静态随机存储器（SRAM），充当高速草稿纸。 高频调用的数据直接留在草稿纸上算，不用频繁去敲高带宽内存的门，尽量减少数据搬移的物理距离。

要撑起这种吞吐，芯片本身的制造也下了血本。 微软采用了多小芯片架构。 负责计算的小芯片，交给台积电用增强型 2 纳米制程（TSMC N2P）代工。 内存控制器和输入输出接口则拆开做成独立小芯片，再封装到一起。 单颗芯片的热设计功耗控制在 950 瓦。 在计算格式上，它原生支持增强型 MXFP4 这种微缩低精度格式。 精度一压缩，内存带宽和容量需求立刻大幅下降。 同样的功耗范围内，系统既能塞下更长的上下文窗口，还能大幅拉高单位时间的吞吐量。

在数据中心里，芯片做得再强，最终都要撞上同一堵墙： 电网与机柜功耗极限。 机房能分到的电力额度是锁死的，机柜的散热能力也有上限。 现在的云计算巨头早就不只盯单纯的跑分。 大家真正在争的，是谁能在锁死的电表读数下，榨出最多的词元。 看微软给出的机柜账本： 一个标准机柜塞进 96 颗 Maia 300 加速卡。 整机柜的高带宽内存总容量达到 27.6TB，聚合内存带宽达到了 1.7PB/s。 整个机柜的功耗被死死锁在 167 千瓦以内。 在同样 167 千瓦的电表读数下，这个机柜的词元吞吐量，达到了上一代 Maia 200 机柜的 7 倍。 要是和目前主流的高端 GPU 系统相比，每兆瓦电力多产出 40% 的词元。

算力竞争打到今天，底层的账本其实已经变了。 前两年行业在比拼谁能抢到更多显卡去炼丹。 但当 AI 真正落地到办公软件、代码助手和自主智能体里，每天都在产生上亿次高频交互。 这时候决定商业成本的底线变了。 每一次调用的电费和响应速度，成了最真实的生死线。 从盲目堆算力转向死磕数据搬运与能效比，微软这颗自研芯片给出的思路很直接： 先把芯片喂饱，算力才能真正省下钱来。