MIT给Claude装上可回放视觉外挂VISTA，不改权重通关25款解谜游戏且动作比人类少57%

没改一行权重，AI通关25款游戏，动作比人少了一半多。

这是麻省理工团队刚公布的一组测试结果。 用的模型就是大家平时用的 Claude，参数一个没动，没做任何额外微调。 测试对象是 ARC-AGI-3 里的全部 25 个公开解谜游戏。

平时没玩过这套游戏的人类，初次上手通关需要一堆尝试。 而 Claude 玩通全部 25 关，耗费的操作动作比人类整整少了 57.4%。

以前大模型玩这种未知规则的互动谜题，到底卡在哪？ 算力其实不缺，它缺的是眼睛和记性，过去基本是在盲人摸象。

大家让多模态大模型玩游戏，常规做法无非两种。 一种是把屏幕画面强行转成文字或者坐标，塞进提示词。 一个二维的棋盘，一旦变成长串的坐标代码，空间上的相对位置、图形移动的轨迹，全被拆碎了。 另一种做法，是每走一步截一张图给它看。 但玩游戏动辄几十上百步。 上下文窗口很快就挤爆了，为了省空间，前面的图越缩越小、越扔越多。 走着走着，它就忘了十步之前地图右上角到底长什么样。 就像一个人在走迷宫，走一步瞎一步，全凭当下的直觉蒙。

麻省理工这套叫 VISTA 的外挂框架，解法其实特别质朴。 他们就干了两件事：眼睛不瞎猜，脑子带回放。

第一，原画直看。 画面不转文字，不压成低保真特征，直接把未压缩的二维图像喂给模型。 让它像人眼一样，一眼看到各个色块、障碍物之间的空间关系。

第二，无损视觉记忆。 每做一次操作，当前画面就被原封不动存进一个独立的视觉记忆库。 这个记忆库不只是死存数据，AI 还能随时主动翻出来看。

这就很有意思了。 AI 走到第 15 步卡住了，它不用靠残存的文本去猜。 它可以直接把第 3 步和第 8 步的截图抽出来，并排放在一起核对： 刚才我碰了红色方块，右下角的门到底开没开？ 如果没开，说明这步试探是错的，马上掉头换一条路。

过去是在信息流里瞎碰，碰对了算运气。 现在有了随时能倒带的视觉画板，它是在根据每一次动作的视觉反馈做推演。 先给假设，再去试探，翻录像核对，然后纠错。

测试里那 57.4% 的动作缩减，全是从那些无意义的无头乱撞里省出来的。

这件事情最耐人寻味的地方在哪？ 大家总习惯觉得大模型处理复杂现实任务不够聪明，是因为参数太小、预训练数据不够多，得花大钱去重新炼丹。 但这次连一克算力的模型权重都没改。 给它接上一对不失真的眼睛，再在旁边放一本能随时翻看前几页的速写本，它就直接把解谜效率推到了人类的一倍以上。

很多时候卡住智能的，未必是脑力本身的上限。 可能只是你一直没给它配一张最基础的草稿纸。