---
id: "mb-20261027-14df37"
kind: "deep"
title: "谷歌 Gemini 反哺图挖掘：多智能体 5 小时攻克底层网络与 TPU 算子"
description: "谷歌图挖掘团队曾长期为大模型清洗和去重海量训练数据，如今 Gemini 4 Argon 在 Antigravity 多智能体平台下，在 5 小时冲刺中完成了原本耗时一年的底层 RDMA 通信架构 FarArray 与 TPU 稀疏算子开发，带来最高 180 倍加速与 22 倍内存缩减，展现了 AI 软硬件工…"
domain: "ai"
domain_label: "AI 与大模型"
canonical_url: "https://mubeitech.com/deep/mb-20261027-14df37"
markdown_url: "https://mubeitech.com/deep/mb-20261027-14df37/markdown"
json_url: "https://mubeitech.com/api/interpretations/mb-20261027-14df37"
topic: "谷歌 Gemini 反哺图挖掘：多智能体 5 小时攻克底层网络与 TPU 算子"
source_type: "generated"
status: "published"
generated_at: "2026-10-27 08:34:56"
frame_type: ["机制"]
legal_anchor_count: 0
transcript_citation_count: 0
---

# 谷歌 Gemini 反哺图挖掘：多智能体 5 小时攻克底层网络与 TPU 算子

给大模型洗了几年数据的工程师，终于尝到了被 AI 报恩的滋味。

在谷歌内部，图挖掘（Graph Mining）团队过去干的，几乎是最累、最脏的幕后苦活。
全网几百亿个网页、几万亿条链接，像个盘根错节的巨型蜘蛛网。
这帮工程师每天的任务，就是在网里拼命筛沙子。
把重复的文档删掉，把垃圾链接剔除，给数据做聚类和清洗。
没有他们洗出来的干净数据，大模型吞进去一堆互联网垃圾，早就学废了。
Gemini 能有今天，图挖掘团队立了大功。

但这帮天天帮别人做嫁衣的工程师，自己在底层系统上，却被两座大山卡得死死的。
哪两座大山？
网络通信和芯片算力。

先说网络通信。
普通的数据，一台机器放不下，切碎了分散到一千台机器上存着就行。
但图数据不行。
图上的每一个节点，都伸出成百上千条边，连着别的节点。
比如全球网页图数据集 HyperLink，里面有 180 亿个网页节点、1.14 万亿条链接边。
你在第 1 台机器上算一个网页的权重，它引用的十个邻居，可能分散在第 300 台、第 500 台机器上。

传统的分布式集群怎么算？
发网络请求。
像两个人发短信一样，第 1 台机器去敲第 300 台机器的门：“喂，把那两个节点的数据传给我”。
每问一次，对面的 CPU 就要放下手里的活，来一次系统中断，走一遍臃肿的网络协议栈，把数据打包发回去。
几万亿条边啊。
算一次图算法，集群里几千台机器整天光顾着互相敲门发短信了。
网络带宽全被这些琐碎的通信占满，CPU 天天在处理中断，内存在反复拷贝中直接爆掉。

怎么破？
换通信方式，用 RDMA（远程直接内存访问）。
这是一种硬件级的“隔空取物”。
本地机器需要数据，网卡直接顺着光纤钻进对面机器的内存里，自己把数据抓回来。
对面的 CPU 甚至连头都不用抬，全程零中断、零内核切换。
基于这个原理，谷歌团队想搞一套叫做 FarArray 的新架构。
把散落在成千上万台机器里的内存，在硬件层面硬生生拼成一张平铺的全局大数组。

听起来很美对吧？
那为什么早没做出来？
太难写了。
你得绕过操作系统内核，用底层 C++ 直接去给网卡发指令，还要自己写无锁并发控制，保证几万个线程同时读写不出错。
写这种底层系统代码，哪怕一个字节的内存对齐没搞对，几千台机器当场死锁给你看。
按照平时的研发节奏，一个顶尖的分布式系统工程团队，至少要死磕几个月甚至一整年。

但这次，图挖掘团队换了个打法。
他们没让人类工程师去熬夜抓头发，转头调出了 Gemini 4 Argon 大模型，用上了 Antigravity 平台的 Teamwork 多智能体架构。
让一群 AI 智能体分工协作：有的负责搭通信流水线，有的负责写无锁数据结构，有的负责死磕硬件级的一致性校验。

结果呢？
原本排了一整年路线图的硬核工程，被这帮 AI 智能体在一个 5 小时的封闭冲刺里，全部写完并跑通了。
跑出来的 FarArray 系统，吞吐量直接飙升了 60 到 90 倍，运行速度最高提速 180 倍，内存消耗还降了 22 倍。
原本根本不敢想的 1.14 万亿条边的超大图，用固定的集群规模，轻轻松松全塞进去了。

通信的问题解决了，第二座大山又来了：芯片算力。
图搭好了，接下来要跑图神经网络（GNN）训练。
谷歌手里最强的算力底牌，是自研的 TPU 芯片。
但 TPU 天生是为密集的矩阵乘法设计的，专门用来跑大语言模型那种整整齐齐的张量运算。
可图数据偏偏是“稀疏”的。
一个网页可能只连了三个链接，矩阵里绝大部分位置全是空的。
如果直接用原生的 JAX 框架去跑，TPU 会把那些空白全补成零，当成庞大的密集矩阵硬算。

这就好比用重型卡车去运空气。
昂贵的高带宽内存（HBM）被无意义的数据塞得满满当当，算力跑得满头大汗，效率却极其低下。
要解决这个问题，就必须针对 TPU 硬件，写定制的底层稀疏矩阵乘法算子。
在谷歌内部，写这种算子要用专门的 Pallas 语言。
懂这门手艺的人，全世界两只手都能数得过来。
工程师不仅要懂高深的图算法，还要对 TPU 芯片内部的物理缓存切片、内存搬运流水线了如指掌。

Gemini 4 Argon 再次接单。
多智能体直接下场，手写并严格验证了一整套定制的 TPU 算子。
不仅跟官方原生 JAX 跑出来的数值完全对齐，运行速度还当场暴涨了 8 到 15 倍，高带宽内存节省了一大截。

图挖掘团队负责人米罗克尼（Vahab Mirrokni）在分享这个突破时，感慨这是一次圆满的闭环。
细想一下，确实很有意思。
几年前，图挖掘团队的工程师们用最繁琐的算法，帮刚刚起步的大模型淘洗出高质量的数据；
几年后，大模型反过来帮当年喂大自己的工程师，在几个小时里攻克了人类最头疼的底层网络通信和芯片算子。
而拥有了 180 倍提速的图挖掘系统，转头又可以去挖掘更大规模的真实世界关系，为下一代更聪明的模型清洗出更干净的数据。

软件工业折腾了几十年，第一次在最硬核的底层工程里，见到了这种互相递梯子的自我增强回路。
当工具不仅能干活，还学会了反过来给造它的人磨刀，整个技术进化的转速，显然已经被挂上了另一档。

_Canonical: <https://mubeitech.com/deep/mb-20261027-14df37> · Source: 墓碑科技 MUBEITECH (mubeitech.com)_
_Rendered by mubei-terminal._