{"id":"mb-20260829-ab3fae","kind":"deep","title":"把强化学习所有炫目的行话扒光，AI 的大脑本质上就是一张电子表格","summary":"把强化学习所有炫目的行话扒光，AI 的大脑本质上就是一张电子表格","body":"把强化学习所有炫目的行话扒光，AI 的大脑本质上就是一张电子表格。\n一行代表一种处境，一列代表一个动作。\n每个格子里填着一个数字，告诉你在这个处境下走这一步能拿多少分。\nAI 做决策，只是查一下自己在哪一行，挑出数字最大的那一列。\n那它是怎么学会下棋、通关游戏甚至学会战胜人类的？\n整套学习算法，其实只有一行最简单的小学算术。\n格子里存的那个数字，叫 Q 值。\n它是一张对未来的承诺：你在这里做出这个动作，并在之后每一步都正常发挥，未来总共能拿到多少收益。\n越晚到手的收益越不值钱。\n每往未来推一步，都要乘上一个略小于 1 的折扣系数，比如 0.9。\n三步之后才拿到的奖励，折算到眼下只剩大约 73%。\n如果你手里已经有一张填满正确数字的表格，行动变得毫无难度。\n查表，找最大值，迈步。\n真正决定生死的是：在没有任何人告诉它世界规则的前提下，这满桌的数字是怎么自己长出来的？\n答案全在那行算术里：新认知 = 旧认知 + 步长 × 意外差。\n这里的意外差，就是现实。\n你刚拿到的真实奖励，加上你对下一步能拿到的最大预期，减去你原先的旧信念。\n现实超出了预期，格子的数字就往上提一点。\n现实让人失望，数字就往下压一点。\n想象一条走廊。\n走廊中间的所有格子没有任何奖励，只有踩进最深处终点的那一步，才会给你 1 分。\n第一次走，AI 踩遍前面的格子，奖励是零，下一步预期也是零，意外差是零，表格纹丝不动。\n直到那一脚踏进终点，终点前的那一个格子，第一次被填上了 1。\n第二次再走，当它走到距离终点两步远的地方，发现前面那个格子已经写着 1，于是自己这个格子被更新成了 0.9。\n第三次再走，距离终点三步的格子，被倒推更新成了 0.81。\n奖励就像墨水一样，顺着时间轴，从未来一步一步逆向渗透回过去。\n没有任何人给 AI 讲过走廊的规则。\n未来只是通过一次次经历，倒流进了过去。\n这就是贝尔曼最优方程。\n1957 年理查德·贝尔曼提出动态规划时，要算这个预期，必须掌握整个世界的完整概率分布。\n但真实世界里，没有人会把宇宙的运行模型交到你手里。\n1989 年，克里斯托弗·沃特金斯在剑桥大学提交博士论文时，完成了那个关键的跃迁。\n他把上帝视角的概率模型，直接换成了智能体的肉身经历。\n你活着经历的每一次状态转移，就是对整个真实世界期望值的一次单点采样。\n每踩一脚就微调一格，学习率会慢慢把环境噪声冲刷干净。\n更妙的是，它在计算更新目标时，取的永远是下一步可能达到的最大值，不管自己实际随机选了什么动作。\n哪怕 AI 还在像无头苍蝇一样四处碰壁，这张表格也已经在数学上，不可逆地收敛向那条最优解。\n既然一张电子表格就能解决一切，为什么它没能直接接管现实？\n因为表格的行数会爆炸。\n一个迷宫玩具只需要 16 行。\n国际象棋有大约 10 的 43 次方个状态。\n围棋有 10 的 170 次方个状态，比整个可观测宇宙里所有的原子总数还要多。\n视频游戏里屏幕像素的每一种排列组合，就是一行。\n物理表格装不下了。\n2015 年，DeepMind 团队在《自然》杂志上发表了一篇里程碑论文。\n他们用深度神经网络，换掉了那张装不下的实体表格。\n神经网络唯一的任务，就是看着屏幕像素，预测如果那张表存在，格子里本该写着什么数字。\n而训练这个庞大网络的，依然是 1989 年那行一模一样的算术更新公式。\n那就是打通雅达利游戏的 DQN。\n电子表格从来没有消失。\n它只是被压缩进了神经网络的权重里。\n所谓智能的飞跃，从来没有发生过什么不可捉摸的魔法。\n它只是把一行最朴素的经验试错算术做到了极致，然后在物理极限撞墙的地方，换上了一台高维的压缩机。","topic":"把强化学习所有炫目的行话扒光，AI 的大脑本质上就是一张电子表格","frame_type":["时序差分逆向渗透与表格压缩","机制"],"citations":[],"channel_note":"","identity_notice":"本框架为第三方 AI 对公开观点的解读，非郭文贵本人发声。","source_type":"generated","status":"published","generated_at":"2026-08-29 20:38:48","legal_anchor_count":0,"transcript_citation_count":0}