{"id":"mb-20261027-14df37","kind":"deep","title":"谷歌 Gemini 反哺图挖掘：多智能体 5 小时攻克底层网络与 TPU 算子","summary":"谷歌图挖掘团队曾长期为大模型清洗和去重海量训练数据，如今 Gemini 4 Argon 在 Antigravity 多智能体平台下，在 5 小时冲刺中完成了原本耗时一年的底层 RDMA 通信架构 FarArray 与 TPU 稀疏算子开发，带来最高 180 倍加速与 22 倍内存缩减，展现了 AI 软硬件工程中罕见的自我增强闭环。","body":"给大模型洗了几年数据的工程师，终于尝到了被 AI 报恩的滋味。\n\n在谷歌内部，图挖掘（Graph Mining）团队过去干的，几乎是最累、最脏的幕后苦活。\n全网几百亿个网页、几万亿条链接，像个盘根错节的巨型蜘蛛网。\n这帮工程师每天的任务，就是在网里拼命筛沙子。\n把重复的文档删掉，把垃圾链接剔除，给数据做聚类和清洗。\n没有他们洗出来的干净数据，大模型吞进去一堆互联网垃圾，早就学废了。\nGemini 能有今天，图挖掘团队立了大功。\n\n但这帮天天帮别人做嫁衣的工程师，自己在底层系统上，却被两座大山卡得死死的。\n哪两座大山？\n网络通信和芯片算力。\n\n先说网络通信。\n普通的数据，一台机器放不下，切碎了分散到一千台机器上存着就行。\n但图数据不行。\n图上的每一个节点，都伸出成百上千条边，连着别的节点。\n比如全球网页图数据集 HyperLink，里面有 180 亿个网页节点、1.14 万亿条链接边。\n你在第 1 台机器上算一个网页的权重，它引用的十个邻居，可能分散在第 300 台、第 500 台机器上。\n\n传统的分布式集群怎么算？\n发网络请求。\n像两个人发短信一样，第 1 台机器去敲第 300 台机器的门：“喂，把那两个节点的数据传给我”。\n每问一次，对面的 CPU 就要放下手里的活，来一次系统中断，走一遍臃肿的网络协议栈，把数据打包发回去。\n几万亿条边啊。\n算一次图算法，集群里几千台机器整天光顾着互相敲门发短信了。\n网络带宽全被这些琐碎的通信占满，CPU 天天在处理中断，内存在反复拷贝中直接爆掉。\n\n怎么破？\n换通信方式，用 RDMA（远程直接内存访问）。\n这是一种硬件级的“隔空取物”。\n本地机器需要数据，网卡直接顺着光纤钻进对面机器的内存里，自己把数据抓回来。\n对面的 CPU 甚至连头都不用抬，全程零中断、零内核切换。\n基于这个原理，谷歌团队想搞一套叫做 FarArray 的新架构。\n把散落在成千上万台机器里的内存，在硬件层面硬生生拼成一张平铺的全局大数组。\n\n听起来很美对吧？\n那为什么早没做出来？\n太难写了。\n你得绕过操作系统内核，用底层 C++ 直接去给网卡发指令，还要自己写无锁并发控制，保证几万个线程同时读写不出错。\n写这种底层系统代码，哪怕一个字节的内存对齐没搞对，几千台机器当场死锁给你看。\n按照平时的研发节奏，一个顶尖的分布式系统工程团队，至少要死磕几个月甚至一整年。\n\n但这次，图挖掘团队换了个打法。\n他们没让人类工程师去熬夜抓头发，转头调出了 Gemini 4 Argon 大模型，用上了 Antigravity 平台的 Teamwork 多智能体架构。\n让一群 AI 智能体分工协作：有的负责搭通信流水线，有的负责写无锁数据结构，有的负责死磕硬件级的一致性校验。\n\n结果呢？\n原本排了一整年路线图的硬核工程，被这帮 AI 智能体在一个 5 小时的封闭冲刺里，全部写完并跑通了。\n跑出来的 FarArray 系统，吞吐量直接飙升了 60 到 90 倍，运行速度最高提速 180 倍，内存消耗还降了 22 倍。\n原本根本不敢想的 1.14 万亿条边的超大图，用固定的集群规模，轻轻松松全塞进去了。\n\n通信的问题解决了，第二座大山又来了：芯片算力。\n图搭好了，接下来要跑图神经网络（GNN）训练。\n谷歌手里最强的算力底牌，是自研的 TPU 芯片。\n但 TPU 天生是为密集的矩阵乘法设计的，专门用来跑大语言模型那种整整齐齐的张量运算。\n可图数据偏偏是“稀疏”的。\n一个网页可能只连了三个链接，矩阵里绝大部分位置全是空的。\n如果直接用原生的 JAX 框架去跑，TPU 会把那些空白全补成零，当成庞大的密集矩阵硬算。\n\n这就好比用重型卡车去运空气。\n昂贵的高带宽内存（HBM）被无意义的数据塞得满满当当，算力跑得满头大汗，效率却极其低下。\n要解决这个问题，就必须针对 TPU 硬件，写定制的底层稀疏矩阵乘法算子。\n在谷歌内部，写这种算子要用专门的 Pallas 语言。\n懂这门手艺的人，全世界两只手都能数得过来。\n工程师不仅要懂高深的图算法，还要对 TPU 芯片内部的物理缓存切片、内存搬运流水线了如指掌。\n\nGemini 4 Argon 再次接单。\n多智能体直接下场，手写并严格验证了一整套定制的 TPU 算子。\n不仅跟官方原生 JAX 跑出来的数值完全对齐，运行速度还当场暴涨了 8 到 15 倍，高带宽内存节省了一大截。\n\n图挖掘团队负责人米罗克尼（Vahab Mirrokni）在分享这个突破时，感慨这是一次圆满的闭环。\n细想一下，确实很有意思。\n几年前，图挖掘团队的工程师们用最繁琐的算法，帮刚刚起步的大模型淘洗出高质量的数据；\n几年后，大模型反过来帮当年喂大自己的工程师，在几个小时里攻克了人类最头疼的底层网络通信和芯片算子。\n而拥有了 180 倍提速的图挖掘系统，转头又可以去挖掘更大规模的真实世界关系，为下一代更聪明的模型清洗出更干净的数据。\n\n软件工业折腾了几十年，第一次在最硬核的底层工程里，见到了这种互相递梯子的自我增强回路。\n当工具不仅能干活，还学会了反过来给造它的人磨刀，整个技术进化的转速，显然已经被挂上了另一档。","topic":"谷歌 Gemini 反哺图挖掘：多智能体 5 小时攻克底层网络与 TPU 算子","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-27 08:34:56","legal_anchor_count":0,"transcript_citation_count":0,"seo_title":"谷歌 Gemini 反哺图挖掘：多智能体 5 小时攻克底层网络与 TPU 算子","description":"谷歌图挖掘团队曾长期为大模型清洗和去重海量训练数据，如今 Gemini 4 Argon 在 Antigravity 多智能体平台下，在 5 小时冲刺中完成了原本耗时一年的底层 RDMA 通信架构 FarArray 与 TPU 稀疏算子开发，带来最高 180 倍加速与 22 倍内存缩减，展现了 AI 软硬件工…","domain":"ai","domain_label":"AI 与大模型","domain_label_en":"AI & LLMs","domain_url":"https://mubeitech.com/deep?domain=ai","canonical_url":"https://mubeitech.com/deep/mb-20261027-14df37","markdown_url":"https://mubeitech.com/deep/mb-20261027-14df37/markdown","json_url":"https://mubeitech.com/api/interpretations/mb-20261027-14df37","published_at":"2026-10-27T08:34:56Z"}