100万token的上下文窗口，听起来很唬人。 但把资料全塞进去，只会让AI变笨。 上下文窗口从来不是仓库，而是一笔注意…

100万token的上下文窗口，听起来很唬人。 但把资料全塞进去，只会让AI变笨。

上下文窗口从来不是仓库，而是一笔注意力预算。 模型不仅要记住你输入的每个词。 它还要计算这个词和之前所有词的关系。 5个词，产生10个关系。 1万个词，就是100万个注意力关系。

资料越塞越多，它的注意力就被稀释得越厉害。 结果就是性能下滑。 找不准信息，写出的代码变烂。 如果你发现它开始胡说八道、产生幻觉。 那多半是塞得太满了。

在实际使用中，上下文可以划成两个区间。 前面是“聪明区”，后面是“笨蛋区”。 一旦跨进笨蛋区，它的智商就开始缓慢滑坡。

这条分界线在哪？ 争议很大，每个模型和任务都不一样。 但一个靠谱的经验法则是：目前大约在15万token左右。 半年前，这个门槛还只有10万。 技术在进步，界限还在往上爬。

怎么用好它？ 遇到笨蛋区的信号，就得动手干预。 清理聊天记录，压缩上下文。 最好的办法是把大任务拆碎。 开一个新的窗口，分批喂给它。

少花一点token，让它永远留在聪明区。