谷歌 Gemini 反哺图挖掘：多智能体 5 小时攻克底层网络与 TPU 算子

给大模型洗了几年数据的工程师，终于尝到了被 AI 报恩的滋味。

在谷歌内部，图挖掘（Graph Mining）团队过去干的，几乎是最累、最脏的幕后苦活。 全网几百亿个网页、几万亿条链接，像个盘根错节的巨型蜘蛛网。 这帮工程师每天的任务，就是在网里拼命筛沙子。 把重复的文档删掉，把垃圾链接剔除，给数据做聚类和清洗。 没有他们洗出来的干净数据，大模型吞进去一堆互联网垃圾，早就学废了。 Gemini 能有今天，图挖掘团队立了大功。

但这帮天天帮别人做嫁衣的工程师，自己在底层系统上，却被两座大山卡得死死的。 哪两座大山？ 网络通信和芯片算力。

先说网络通信。 普通的数据，一台机器放不下，切碎了分散到一千台机器上存着就行。 但图数据不行。 图上的每一个节点，都伸出成百上千条边，连着别的节点。 比如全球网页图数据集 HyperLink，里面有 180 亿个网页节点、1.14 万亿条链接边。 你在第 1 台机器上算一个网页的权重，它引用的十个邻居，可能分散在第 300 台、第 500 台机器上。

传统的分布式集群怎么算？ 发网络请求。 像两个人发短信一样，第 1 台机器去敲第 300 台机器的门：“喂，把那两个节点的数据传给我”。 每问一次，对面的 CPU 就要放下手里的活，来一次系统中断，走一遍臃肿的网络协议栈，把数据打包发回去。 几万亿条边啊。 算一次图算法，集群里几千台机器整天光顾着互相敲门发短信了。 网络带宽全被这些琐碎的通信占满，CPU 天天在处理中断，内存在反复拷贝中直接爆掉。

怎么破？ 换通信方式，用 RDMA（远程直接内存访问）。 这是一种硬件级的“隔空取物”。 本地机器需要数据，网卡直接顺着光纤钻进对面机器的内存里，自己把数据抓回来。 对面的 CPU 甚至连头都不用抬，全程零中断、零内核切换。 基于这个原理，谷歌团队想搞一套叫做 FarArray 的新架构。 把散落在成千上万台机器里的内存，在硬件层面硬生生拼成一张平铺的全局大数组。

听起来很美对吧？ 那为什么早没做出来？ 太难写了。 你得绕过操作系统内核，用底层 C++ 直接去给网卡发指令，还要自己写无锁并发控制，保证几万个线程同时读写不出错。 写这种底层系统代码，哪怕一个字节的内存对齐没搞对，几千台机器当场死锁给你看。 按照平时的研发节奏，一个顶尖的分布式系统工程团队，至少要死磕几个月甚至一整年。

但这次，图挖掘团队换了个打法。 他们没让人类工程师去熬夜抓头发，转头调出了 Gemini 4 Argon 大模型，用上了 Antigravity 平台的 Teamwork 多智能体架构。 让一群 AI 智能体分工协作：有的负责搭通信流水线，有的负责写无锁数据结构，有的负责死磕硬件级的一致性校验。

结果呢？ 原本排了一整年路线图的硬核工程，被这帮 AI 智能体在一个 5 小时的封闭冲刺里，全部写完并跑通了。 跑出来的 FarArray 系统，吞吐量直接飙升了 60 到 90 倍，运行速度最高提速 180 倍，内存消耗还降了 22 倍。 原本根本不敢想的 1.14 万亿条边的超大图，用固定的集群规模，轻轻松松全塞进去了。

通信的问题解决了，第二座大山又来了：芯片算力。 图搭好了，接下来要跑图神经网络（GNN）训练。 谷歌手里最强的算力底牌，是自研的 TPU 芯片。 但 TPU 天生是为密集的矩阵乘法设计的，专门用来跑大语言模型那种整整齐齐的张量运算。 可图数据偏偏是“稀疏”的。 一个网页可能只连了三个链接，矩阵里绝大部分位置全是空的。 如果直接用原生的 JAX 框架去跑，TPU 会把那些空白全补成零，当成庞大的密集矩阵硬算。

这就好比用重型卡车去运空气。 昂贵的高带宽内存（HBM）被无意义的数据塞得满满当当，算力跑得满头大汗，效率却极其低下。 要解决这个问题，就必须针对 TPU 硬件，写定制的底层稀疏矩阵乘法算子。 在谷歌内部，写这种算子要用专门的 Pallas 语言。 懂这门手艺的人，全世界两只手都能数得过来。 工程师不仅要懂高深的图算法，还要对 TPU 芯片内部的物理缓存切片、内存搬运流水线了如指掌。

Gemini 4 Argon 再次接单。 多智能体直接下场，手写并严格验证了一整套定制的 TPU 算子。 不仅跟官方原生 JAX 跑出来的数值完全对齐，运行速度还当场暴涨了 8 到 15 倍，高带宽内存节省了一大截。

图挖掘团队负责人米罗克尼（Vahab Mirrokni）在分享这个突破时，感慨这是一次圆满的闭环。 细想一下，确实很有意思。 几年前，图挖掘团队的工程师们用最繁琐的算法，帮刚刚起步的大模型淘洗出高质量的数据； 几年后，大模型反过来帮当年喂大自己的工程师，在几个小时里攻克了人类最头疼的底层网络通信和芯片算子。 而拥有了 180 倍提速的图挖掘系统，转头又可以去挖掘更大规模的真实世界关系，为下一代更聪明的模型清洗出更干净的数据。

软件工业折腾了几十年，第一次在最硬核的底层工程里，见到了这种互相递梯子的自我增强回路。 当工具不仅能干活，还学会了反过来给造它的人磨刀，整个技术进化的转速，显然已经被挂上了另一档。