{"id":"16426914","account":"mubei","brand":"@mubei","title":"100万token的上下文窗口，听起来很唬人。 但把资料全塞进去，只会让AI变笨。 上下文窗口从来不是仓库，而是一笔注意…","summary":"100万token的上下文窗口，听起来很唬人。 但把资料全塞进去，只会让AI变笨。 上下文窗口从来不是仓库，而是一笔注意力预算。 模型不仅要记住你输入的每个词。 它还要计算这个词和之前所有词的关系。 5个词，产生10个关系。 1万个词，就是100万个注意力关系。 资料越塞越多，它…","body":"100万token的上下文窗口，听起来很唬人。\n但把资料全塞进去，只会让AI变笨。\n\n上下文窗口从来不是仓库，而是一笔注意力预算。\n模型不仅要记住你输入的每个词。\n它还要计算这个词和之前所有词的关系。\n5个词，产生10个关系。\n1万个词，就是100万个注意力关系。\n\n资料越塞越多，它的注意力就被稀释得越厉害。\n结果就是性能下滑。\n找不准信息，写出的代码变烂。\n如果你发现它开始胡说八道、产生幻觉。\n那多半是塞得太满了。\n\n在实际使用中，上下文可以划成两个区间。\n前面是“聪明区”，后面是“笨蛋区”。\n一旦跨进笨蛋区，它的智商就开始缓慢滑坡。\n\n这条分界线在哪？\n争议很大，每个模型和任务都不一样。\n但一个靠谱的经验法则是：目前大约在15万token左右。\n半年前，这个门槛还只有10万。\n技术在进步，界限还在往上爬。\n\n怎么用好它？\n遇到笨蛋区的信号，就得动手干预。\n清理聊天记录，压缩上下文。\n最好的办法是把大任务拆碎。\n开一个新的窗口，分批喂给它。\n\n少花一点token，让它永远留在聪明区。","category":"其它","score":null,"percentile":null,"reason_tags":[],"translated_x_url":"https://x.com/i/status/2079540875546235219","translated_status_id":"2079540875546235219","published_at":"2026-07-21 11:38:47","created_at":"2026-07-21T13:21:09+02:00"}