{"source":{"id":"16426914","title":"100万token的上下文窗口，听起来很唬人。 但把资料全塞进去，只会让AI变笨。 上下文窗口从来不是仓库，而是一笔注意…","url":"https://mubeitech.com/p/16426914"},"method":"semantic-similarity","count":4,"items":[{"rank":1,"id":"2071927905051922906","account":"mubei","brand":"@mubei","title":"AI的“记忆”，根本不是什么上下文窗口的问题。 别再被动辄几百万 Token 的消费级叙事给忽悠了。 最新的一篇研究论文…","summary":"AI的“记忆”，根本不是什么上下文窗口的问题。 别再被动辄几百万 Token 的消费级叙事给忽悠了。 最新的一篇研究论文直接撕下了这层遮羞布。 AI 记忆本质上是硬核的分布式系统（Distributed Systems）问题，不是信息检索（Retrieval）问题。 当你在实际生…","body":"AI的“记忆”，根本不是什么上下文窗口的问题。\n别再被动辄几百万 Token 的消费级叙事给忽悠了。\n\n最新的一篇研究论文直接撕下了这层遮羞布。\nAI 记忆本质上是硬核的分布式系统（Distributed Systems）问题，不是信息检索（Retrieval）问题。\n\n当你在实际生产中，让一整队 AI Agent 跑在一个“共享状态”（Shared State）上时，真正的灾难才刚刚开始。\n这时候模型聪不聪明已经不重要了，你必须面对最古典、最折磨程序员的分布式系统拷问：\n谁有权限读这段记忆？\n现在哪个版本才是最新的？\n这段记忆到底是从哪儿来的？\n它在不同系统 and 安全边界之间，到底是怎么流动的？\n\n这些问题，你就算把上下文窗口（Context size）堆到一亿，也一个都回答不了。\n\n现在的 AI 圈太喜欢聊宏大的算法和超长的 Token 了。\n但等大家真的开始落地多 Agent 协同的时候，才会痛苦地发现：\n最后卡死所有人的，依然是那些最基础、最冰冷的分布式系统工程边界。","category":"其它","score":null,"translated_x_url":"https://x.com/i/status/2072703444087947697","translated_status_id":"2072703444087947697","published_at":"2026-07-02 15:01:27","created_at":"2026-07-02T16:56:39+02:00","url":"https://mubeitech.com/p/2071927905051922906","markdown_url":"https://mubeitech.com/p/2071927905051922906/markdown"},{"rank":2,"id":"2038515317841035622","account":"mubei","brand":"@mubei","title":"都在拼命卷大模型的上下文窗口？ 谷歌核心人物 Jeff Dean 刚刚泼了一盆冷水。 盲目追求一万亿 token 的吞吐…","summary":"都在拼命卷大模型的上下文窗口？ 谷歌核心人物 Jeff Dean 刚刚泼了一盆冷水。 盲目追求一万亿 token 的吞吐量完全没必要。 大模型确实极其依赖投喂的信息。 你想让它处理全网所有文档。 你想让它读完你这辈子所有的邮件和照片。 这绝对是个极其庞大的数字。 目前主流的一百万…","body":"都在拼命卷大模型的上下文窗口？\n谷歌核心人物 Jeff Dean 刚刚泼了一盆冷水。\n盲目追求一万亿 token 的吞吐量完全没必要。\n\n大模型确实极其依赖投喂的信息。\n你想让它处理全网所有文档。\n你想让它读完你这辈子所有的邮件和照片。\n这绝对是个极其庞大的数字。\n目前主流的一百万 token 容量连塞牙缝都不够。\n\n这要怎么解？\n暴力扩容死路一条。\nJeff Dean 给出的答案是“分阶段检索”。\n先用极轻量级的机制快速过一遍底库。\n把一万亿个 token 粗筛出一两千万。\n再精筛出最核心的一百万。\n\n最后只把这一百万喂给上下文窗口。\n机器根本不需要同时处理一万亿条数据。\n它只要准确找到最关键的那一百万条。\n\n算力狂飙的方向已经变了。\n下半场拼的是过滤废话的能力。","category":"其它","score":100,"translated_x_url":"https://x.com/i/status/2038943000802316432","translated_status_id":"2038943000802316432","published_at":"2026-03-31 11:24:59","created_at":"2026-03-31T13:13:57.229922","url":"https://mubeitech.com/p/2038515317841035622","markdown_url":"https://mubeitech.com/p/2038515317841035622/markdown"},{"rank":3,"id":"16506980","account":"mubei","brand":"@mubei","title":"怎么让AI记住自己的一生？ 别想把所有细节都塞进脑子里，更别动不动就删。 真正的解法是：让记忆像人一样，分层、变旧。 有…","summary":"怎么让AI记住自己的一生？ 别想把所有细节都塞进脑子里，更别动不动就删。 真正的解法是：让记忆像人一样，分层、变旧。 有人写了一套即插即用的提示词和脚本，叫OptMem。 它用了一个极轻巧的机制，给了智能体“无限”的记忆。 先算笔账。 AI每天记点短笔记：机票、酒店、跑步、账单。…","body":"怎么让AI记住自己的一生？\n别想把所有细节都塞进脑子里，更别动不动就删。\n真正的解法是：让记忆像人一样，分层、变旧。\n\n有人写了一套即插即用的提示词和脚本，叫OptMem。\n它用了一个极轻巧的机制，给了智能体“无限”的记忆。\n\n先算笔账。\nAI每天记点短笔记：机票、酒店、跑步、账单。\n两个月下来，1000条记忆，就是8万个Token。\n模型根本装不下。\n现在的常规做法是弄个长期记忆文件，满了就把旧的删掉。\n但这不符合直觉：谁敢保证一年前的细节，今天就绝对用不上？\n\nOptMem怎么解？\n第一条铁律：数据库只追加，任何东西都不删。\n那上下文撑爆了怎么办？当场合并。\n不用等半夜做后台清理，两条记忆一碰头，直接捏成一条。\n\n“订了去日本的机票”，加上“订了东京的酒店”。\n捏在一起，变成一条新记忆：“计划了一次东京之旅”。\n它依然是记忆，只是细节变少了。\n\n这样一路捏下去，系统里就长出了一棵二叉树。\n时间跨度按二的倍数展开：半年、三个月、两周、一周，直到今天的鸡毛蒜皮。\n离现在越近，细节越清晰。\n年代越久远，越被浓缩成几句概括。\n只要这么干，扔给AI的记忆上下文永远是固定大小。\n不管存多久，都不会撑爆。\n\n那旧细节彻底没了吗？\n没丢。\n因为第一条铁律说了，什么都不删。\n所有原始记录全在底层日志里躺着。\n真到了要用的时候，系统依然能从旧日志里，把当年那张日本机票精准捞出来。\n\n无需托管，也无需运行复杂的后台程序。\n它就只是一套提示词和脚本。\n无限记忆从来不是死记硬背，而是允许细枝末节自然褪色。","category":"其它","score":null,"translated_x_url":"https://x.com/i/status/2081526637015835004","translated_status_id":"2081526637015835004","published_at":"2026-07-26 23:03:38","created_at":"2026-07-27T00:50:27+02:00","url":"https://mubeitech.com/p/16506980","markdown_url":"https://mubeitech.com/p/16506980/markdown"},{"rank":4,"id":"2045484064585728489","account":"mubei","brand":"@mubei","title":"Andrej Karpathy揭开了一个反直觉的行业真相。 现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。…","summary":"Andrej Karpathy揭开了一个反直觉的行业真相。 现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。 撑大体积的罪魁祸首，是劣质的训练数据。 你以为模型每天在贪婪地阅读《华尔街日报》和严谨的学术文章？ 现实极其惨淡。 前沿实验室随机抽查的预训练语料，全是残破的…","body":"Andrej Karpathy揭开了一个反直觉的行业真相。\n现在的AI模型动辄上万亿参数，根本不需要这么大的“脑容量”。\n撑大体积的罪魁祸首，是劣质的训练数据。\n\n你以为模型每天在贪婪地阅读《华尔街日报》和严谨的学术文章？\n现实极其惨淡。\n前沿实验室随机抽查的预训练语料，全是残破的HTML代码、股票代码和杂乱无章的乱码。\n人类积累的高质量文本在互联网海洋里极其稀缺。\n\n巨大的信息噪音带来了灾难性的压缩效率。\nLlama 3对训练数据的压缩率低到只有0.07比特每token。\n这意味着模型对自己啃过的大部分内容，仅仅留存了极度模糊的印象。\n庞大的万亿参数，绝大部分并没有参与“认知推理”。\n它们变成了臃肿的记忆库，被迫死记硬背互联网倾泻而下的赛博垃圾。\n\nKarpathy开出的解法极其干脆。\n彻底分离思考与记忆。\n剥离百科全书式的死记硬背，只留下纯粹负责推理和解题的算法逻辑。\n这就是真正的“认知核心”。\n一旦遇到事实盲区，让模型主动去调用外部数据库。\n\n如果只喂极其干净的高质量数据，这个“认知核心”需要多大体积？\n十亿参数。\n回看今天的主流旗舰模型，参数规模在2000亿到1.8万亿之间摇摆。\n超高比例的算力都在替数据的脏乱差买单。\n\n现实数据正在印证这条新路径。\n仅仅两千亿参数的GPT-4o，早就全方位碾压了1.8万亿参数的初代GPT-4。\n过去两年间，跑通GPT-3.5性能的推理成本暴降了足足280倍。\n推动这一切的核心引擎，全部来自更小、更干净、更精巧的模型架构。\n\n当前挡在AI面前的那堵墙，早就不是算力。\n算力匮乏不过是替低劣数据背锅的挡箭牌。\n下一轮大洗牌的唯一筹码是高纯度的数据源。","category":"其它","score":100,"translated_x_url":"https://x.com/i/status/2045726431263515003","translated_status_id":"2045726431263515003","published_at":"2026-04-19 04:36:24","created_at":"2026-04-19T06:31:10.029346","url":"https://mubeitech.com/p/2045484064585728489","markdown_url":"https://mubeitech.com/p/2045484064585728489/markdown"}]}