微软公布自研芯片Maia 300：攻克内存墙与每兆瓦词元能效比

算力芯片比高低，什么时候开始按每兆瓦能吐出多少个字来算了？

微软最新公布了自研算力芯片 Maia 300。 从 2027 年开始，这套芯片要直接铺进吉瓦级的数据中心。 有意思的是官方公布的性能对比。 他们不比浮点运算跑分，专门比了一个指标： 在同样的电表读数下，每兆瓦电量产出的 token 数量，比主流 GPU 系统高出 40%。 多吐 40% 的词，为什么能拿电量来算？ 这台芯片到底在省什么电？

大模型吐字慢，很多人第一反应是算力不够。 很多时候，芯片里的计算核心就在里面干等。 等数据从内存里慢吞吞地搬过来。 这就是芯片工程师常说的内存墙。 大模型训练和日常推理，完全是两码事。 训练模型的时候，几千亿参数倒进去，矩阵乘法一通狂算，拼的是算力峰值。 真到了大家日常用 AI，比如让 Copilot 写一段代码、实时整理会议纪要，规则全变了。 大模型是一个词一个词往外蹦的。 每吐出一个新词，芯片就得把前面所有的上下文和模型权重，从内存里重新搬运一遍。 要是对话拉长到几万字，需要搬运的数据量会成倍飙升。 这时候计算核心跑得再快也没用。 数据通路要是窄了，计算单元只能饿着肚子排队。 更要命的是，这些庞大的计算单元哪怕闲着，通着电就会持续漏电发热，白白烧掉几百瓦的底噪功耗。

微软这颗 Maia 300，抓的就是这根痛筋。 它的目标很明确，就是专为大模型推理服务。 怎么解决计算核心饿肚子的问题？ 把运数据的路修到最宽。 这颗芯片上直接塞了 8 堆叠的 HBM4 高带宽内存。 单颗芯片的内存带宽，拉到了 18TB/s。 这是什么概念？ 一秒钟内，有 18TB 的数据能在内存和核心之间飞速流转。 比起上一代 Maia 200，带宽直接翻了 2.5 倍，单位功耗下的带宽效率整整提高了一倍。 光把外面的路修宽还不够。 制造工艺也下了血本。 微软用了多小芯片封装，负责计算的小芯片交给台积电用增强型 2 纳米制程制造，把内存控制器和输入输出接口独立拆开。 单颗芯片的热设计功耗做到了 950 瓦。

但这场较量，早就不在单颗芯片的参数上，全在机房的电表上。 现在全球建 AI 数据中心，最卡人的早已经变成了变电站批复的用电指标。 有钱能订到几万张显卡，但向当地电网申请几百兆瓦的通电额度，排队往往要等上好几年。 既然总电量被电网卡得死死的，竞争的逻辑就彻底变了： 谁能在固定的电表读数下，榨出更多的词。 看微软公布的机柜账本： 一个液冷机柜，塞进 96 颗 Maia 300 芯片，整机功耗被严格锁在 167 千瓦以内。 在完全相同的 167 千瓦电表读数下，单机柜的词元吞吐量达到了上一代的 7 倍。 折算下来，每兆瓦电力产出的 token 数量，直接比目前主流的 GPU 系统高出 40%。

AI 算力竞争打到第三年，最关键的账本悄悄换了。 前两年大家比拼谁能抢到更多显卡去训练大模型。 现在数以亿计的日常交互扑面而来，每一次调用的电费，成了云服务厂商最真实的边际成本。 当电网成了算力扩张的硬天花板， 芯片能跑多快已经不够了， 每度电到底能换回多少个词，才是接下来的真功夫。