把强化学习所有炫目的行话扒光，AI 的大脑本质上就是一张电子表格

把强化学习所有炫目的行话扒光，AI 的大脑本质上就是一张电子表格。 一行代表一种处境，一列代表一个动作。 每个格子里填着一个数字，告诉你在这个处境下走这一步能拿多少分。 AI 做决策，只是查一下自己在哪一行，挑出数字最大的那一列。 那它是怎么学会下棋、通关游戏甚至学会战胜人类的？ 整套学习算法，其实只有一行最简单的小学算术。 格子里存的那个数字，叫 Q 值。 它是一张对未来的承诺：你在这里做出这个动作，并在之后每一步都正常发挥，未来总共能拿到多少收益。 越晚到手的收益越不值钱。 每往未来推一步，都要乘上一个略小于 1 的折扣系数，比如 0.9。 三步之后才拿到的奖励，折算到眼下只剩大约 73%。 如果你手里已经有一张填满正确数字的表格，行动变得毫无难度。 查表，找最大值，迈步。 真正决定生死的是：在没有任何人告诉它世界规则的前提下，这满桌的数字是怎么自己长出来的？ 答案全在那行算术里：新认知 = 旧认知 + 步长 × 意外差。 这里的意外差，就是现实。 你刚拿到的真实奖励，加上你对下一步能拿到的最大预期，减去你原先的旧信念。 现实超出了预期，格子的数字就往上提一点。 现实让人失望，数字就往下压一点。 想象一条走廊。 走廊中间的所有格子没有任何奖励，只有踩进最深处终点的那一步，才会给你 1 分。 第一次走，AI 踩遍前面的格子，奖励是零，下一步预期也是零，意外差是零，表格纹丝不动。 直到那一脚踏进终点，终点前的那一个格子，第一次被填上了 1。 第二次再走，当它走到距离终点两步远的地方，发现前面那个格子已经写着 1，于是自己这个格子被更新成了 0.9。 第三次再走，距离终点三步的格子，被倒推更新成了 0.81。 奖励就像墨水一样，顺着时间轴，从未来一步一步逆向渗透回过去。 没有任何人给 AI 讲过走廊的规则。 未来只是通过一次次经历，倒流进了过去。 这就是贝尔曼最优方程。 1957 年理查德·贝尔曼提出动态规划时，要算这个预期，必须掌握整个世界的完整概率分布。 但真实世界里，没有人会把宇宙的运行模型交到你手里。 1989 年，克里斯托弗·沃特金斯在剑桥大学提交博士论文时，完成了那个关键的跃迁。 他把上帝视角的概率模型，直接换成了智能体的肉身经历。 你活着经历的每一次状态转移，就是对整个真实世界期望值的一次单点采样。 每踩一脚就微调一格，学习率会慢慢把环境噪声冲刷干净。 更妙的是，它在计算更新目标时，取的永远是下一步可能达到的最大值，不管自己实际随机选了什么动作。 哪怕 AI 还在像无头苍蝇一样四处碰壁，这张表格也已经在数学上，不可逆地收敛向那条最优解。 既然一张电子表格就能解决一切，为什么它没能直接接管现实？ 因为表格的行数会爆炸。 一个迷宫玩具只需要 16 行。 国际象棋有大约 10 的 43 次方个状态。 围棋有 10 的 170 次方个状态，比整个可观测宇宙里所有的原子总数还要多。 视频游戏里屏幕像素的每一种排列组合，就是一行。 物理表格装不下了。 2015 年，DeepMind 团队在《自然》杂志上发表了一篇里程碑论文。 他们用深度神经网络，换掉了那张装不下的实体表格。 神经网络唯一的任务，就是看着屏幕像素，预测如果那张表存在，格子里本该写着什么数字。 而训练这个庞大网络的，依然是 1989 年那行一模一样的算术更新公式。 那就是打通雅达利游戏的 DQN。 电子表格从来没有消失。 它只是被压缩进了神经网络的权重里。 所谓智能的飞跃，从来没有发生过什么不可捉摸的魔法。 它只是把一行最朴素的经验试错算术做到了极致，然后在物理极限撞墙的地方，换上了一台高维的压缩机。