{"id":"2038515317841035622","account":"mubei","brand":"@mubei","title":"都在拼命卷大模型的上下文窗口？ 谷歌核心人物 Jeff Dean 刚刚泼了一盆冷水。 盲目追求一万亿 token 的吞吐…","summary":"都在拼命卷大模型的上下文窗口？ 谷歌核心人物 Jeff Dean 刚刚泼了一盆冷水。 盲目追求一万亿 token 的吞吐量完全没必要。 大模型确实极其依赖投喂的信息。 你想让它处理全网所有文档。 你想让它读完你这辈子所有的邮件和照片。 这绝对是个极其庞大的数字。 目前主流的一百万…","body":"都在拼命卷大模型的上下文窗口？\n谷歌核心人物 Jeff Dean 刚刚泼了一盆冷水。\n盲目追求一万亿 token 的吞吐量完全没必要。\n\n大模型确实极其依赖投喂的信息。\n你想让它处理全网所有文档。\n你想让它读完你这辈子所有的邮件和照片。\n这绝对是个极其庞大的数字。\n目前主流的一百万 token 容量连塞牙缝都不够。\n\n这要怎么解？\n暴力扩容死路一条。\nJeff Dean 给出的答案是“分阶段检索”。\n先用极轻量级的机制快速过一遍底库。\n把一万亿个 token 粗筛出一两千万。\n再精筛出最核心的一百万。\n\n最后只把这一百万喂给上下文窗口。\n机器根本不需要同时处理一万亿条数据。\n它只要准确找到最关键的那一百万条。\n\n算力狂飙的方向已经变了。\n下半场拼的是过滤废话的能力。","category":"其它","score":100,"percentile":null,"reason_tags":[],"translated_x_url":"https://x.com/i/status/2038943000802316432","translated_status_id":"2038943000802316432","published_at":"2026-03-31 11:24:59","created_at":"2026-03-31T13:13:57.229922"}