深度解读AI 与大模型generatedpublished

微软自研芯片铺向吉瓦级:为什么AI推理必须换掉通用显卡

机制

微软要把自研芯片铺到吉瓦级,自家AI推理全换它来跑。

纳德拉刚发了公告。 从明年开始,微软要把自家的 Maia 芯片部署规模扩大到几吉瓦。 以后的 Teams、Copilot 这些自家的产品和服务,主力推理系统全部交给它。

几吉瓦是什么规模? 一吉瓦就是一百万千瓦。 一座大型核电机组的发电功率,差不多也就一百万千瓦上下。 几吉瓦的算力集群,相当于几座核电机组发出来的电,全用来给这批芯片供能。

有人会好奇: 前两年微软还在大批采购英伟达显卡,怎么现在急着给自家推理全面换血?

看背后的账本就明白了。

跑大模型主要就两件事。 一个是训练,一个是推理。 训练就像打地基,虽然花钱很猛,但几个月半年就完工了,咬咬牙买最贵的卡也能扛过去。 推理却完全不同。 全世界每天有几亿人在 Teams 里面开会转文字、在 Copilot 里写总结,每分每秒都在调用后台。 只要服务开门迎客,电表就在疯狂打表。

在这个量级上,显卡的初始买价已经不是最致命的成本了。 机房的电费和散热,才是每天都在吞钱的黑洞。

微软给出的实测数据很说明问题。 已经在欧美和澳大利亚铺开的 Maia 200,每瓦电能吐出的 token 数量,达到了通用 GPU 的 1.7 倍。 刚公布的 Maia 300,能效还要比顶配 GPU 方案再高出 40%。

这就是专用芯片的优势。 通用显卡要兼顾科学计算、图形渲染和各种复杂的算法,核心里堆满了冗余模块。 而微软自己的推理芯片目标单一: 专门跑自家大模型的推理运算。 不需要的指令全去掉,缓存和数据通路全照着大模型的吞吐特征来做。

在机房里,省电从来不只是少交电费。 每一度电的能耗降下来,机房有限的配电容量里,就能多塞进几十万颗算力核心。 英伟达的最新硬件微软还会继续买,那是用来训练下一代前沿模型的。 但在自家每天跑的日常业务里,用最省电的自研芯片把推理成本打下来,这套商业飞轮才真正转得起。

引用 / CITATIONS

No citations exported.

同领域解读 / AI & LLMS

查看全部「AI 与大模型」解读 →

导出 / EXPORT

订阅 · SUBSCRIBE

每周一封独立、不受审查的科技与 AI 深度评论,周一发出。带出处,可核查。

不追踪邮件打开与邮件链接点击,一键退订。 或用 RSS · 详情