---
id: "mb-20261012-7a2c65"
kind: "deep"
title: "微软自研AI芯片Maia 300：破解内存墙与机柜功耗的算力账本"
topic: "微软自研AI芯片Maia 300：破解内存墙与机柜功耗的算力账本"
source_type: "generated"
status: "published"
generated_at: "2026-10-12 16:11:37"
frame_type: ["机制"]
legal_anchor_count: 0
transcript_citation_count: 0
---

# 微软自研AI芯片Maia 300：破解内存墙与机柜功耗的算力账本

大模型吐字慢，真的只是因为芯片算力不够吗？
真不是。
很多时候，计算核心其实在里面干等。
等数据从内存里慢吞吞地搬过来。

这就是硬件工程师天天念叨的内存墙。
大模型训练和日常推理，完全是两种逻辑。
训练的时候，几千亿参数倒进去，矩阵乘法一通狂算，拼的是纯粹的算力峰值。
但真到了用户日常调用，比如让 Copilot 写一段代码、在 Teams 里实时生成会议纪要，整个规则全变了。
大模型是一个词元一个词元往外蹦的。
每生成一个新词元，芯片就得把前面所有的对话上下文和模型权重，从内存里完完整整过一遍。
如果对话拉长到几万甚至几十万字，需要搬运的数据量会成倍飙升。
这时候计算核心跑得再快也没用。
内存通道要是窄了，算力就只能咬着手指头排队，电量白白耗在等待上。

微软公布的最新自研 AI 芯片 Maia 300，抓的就是这根痛筋。
它的设计定位非常明确：推理优先。
怎么解决算力饿肚子的问题？
微软用了最硬核的解法：把内存通道拓宽到极致。
这颗芯片上直接堆了 8 堆叠的 HBM4 高带宽内存。
单颗芯片的内存带宽，直接拉到了惊人的 18TB/s。
这是什么概念？
上一代 Maia 200 带宽已经不低，而 Maia 300 直接是上一代的 2.5 倍。
一秒钟能把 18TB 的数据喂进计算核心。
光把外面的路拓宽还不够。
微软还在芯片内部塞了一大块片上静态随机存储器（SRAM），充当高速草稿纸。
高频调用的数据直接留在草稿纸上算，不用频繁去敲高带宽内存的门，尽量减少数据搬移的物理距离。

要撑起这种吞吐，芯片本身的制造也下了血本。
微软采用了多小芯片架构。
负责计算的小芯片，交给台积电用增强型 2 纳米制程（TSMC N2P）代工。
内存控制器和输入输出接口则拆开做成独立小芯片，再封装到一起。
单颗芯片的热设计功耗控制在 950 瓦。
在计算格式上，它原生支持增强型 MXFP4 这种微缩低精度格式。
精度一压缩，内存带宽和容量需求立刻大幅下降。
同样的功耗范围内，系统既能塞下更长的上下文窗口，还能大幅拉高单位时间的吞吐量。

在数据中心里，芯片做得再强，最终都要撞上同一堵墙：
电网与机柜功耗极限。
机房能分到的电力额度是锁死的，机柜的散热能力也有上限。
现在的云计算巨头早就不只盯单纯的跑分。
大家真正在争的，是谁能在锁死的电表读数下，榨出最多的词元。
看微软给出的机柜账本：
一个标准机柜塞进 96 颗 Maia 300 加速卡。
整机柜的高带宽内存总容量达到 27.6TB，聚合内存带宽达到了 1.7PB/s。
整个机柜的功耗被死死锁在 167 千瓦以内。
在同样 167 千瓦的电表读数下，这个机柜的词元吞吐量，达到了上一代 Maia 200 机柜的 7 倍。
要是和目前主流的高端 GPU 系统相比，每兆瓦电力多产出 40% 的词元。

算力竞争打到今天，底层的账本其实已经变了。
前两年行业在比拼谁能抢到更多显卡去炼丹。
但当 AI 真正落地到办公软件、代码助手和自主智能体里，每天都在产生上亿次高频交互。
这时候决定商业成本的底线变了。
每一次调用的电费和响应速度，成了最真实的生死线。
从盲目堆算力转向死磕数据搬运与能效比，微软这颗自研芯片给出的思路很直接：
先把芯片喂饱，算力才能真正省下钱来。

_Rendered by mubei-terminal._