剥开目前世界上最主导的两种AI芯片。 GPU的本质，其实是一堆微缩版TPU的集合。 来看看顶级芯片架构师眼里它们到底差在…

剥开目前世界上最主导的两种AI芯片。 GPU的本质，其实是一堆微缩版TPU的集合。

来看看顶级芯片架构师眼里它们到底差在哪。 把芯片当成一块地皮。 GPU的建法，是盖一排排几乎一模一样的小隔间。 每个隔间叫SM（流式多处理器）。 中间留一条主干道，也就是L2缓存。 整个芯片就像一个密密麻麻的格子铺。

再看TPU。 它的颗粒度粗犷得多。 地皮上只建几座巨大的工厂，这就是矩阵单元（也就是巨大的脉动阵列）。 中间夹着一长条向量单元。 没有那么多小隔间，大开大合。

如果你把一整块TPU无限缩小。 缩小到一个超微型的矩阵加向量单元。 这就是GPU里的一个SM。 GPU芯片上，其实平铺了无数个微缩版的“TPU”。

为什么分化出两种走法？ TPU的逻辑是均摊成本。 既然大模型都在算海量的矩阵乘法，干脆建几个超大的脉动阵列。 这样就能避免给无数个小隔间单独配置寄存器和调度器，把开销直接摊薄。

但巨型建筑有致命的物理代价。 数据要搬运。 在TPU的粗粒度设计里，海量数据只能在巨大的矩阵厂房和向量区之间，通过仅有的两条边界线进出。 像极了春运期间只有两个闸口的高速收费站。

而在GPU的格子铺里，到处都是出入口。 数据不需要挤两根粗管子，它们可以通过16条以上的网状线路同时穿梭。 这让GPU在向量和矩阵单元之间移动数据的能力，实际上远高于TPU。

在AI算力的底层法则里。 TPU在面积和调度成本上选择了极端的规模效率。 而GPU用化整为零的通信网络，换取了适应所有复杂模型的通用性。