---
id: "mb-20261012-756e85"
kind: "deep"
title: "MIT给Claude装上可回放视觉外挂VISTA，不改权重通关25款解谜游戏且动作比人类少57%"
topic: "MIT给Claude装上可回放视觉外挂VISTA，不改权重通关25款解谜游戏且动作比人类少57%"
source_type: "generated"
status: "published"
generated_at: "2026-10-12 16:12:27"
frame_type: ["机制"]
legal_anchor_count: 0
transcript_citation_count: 0
---

# MIT给Claude装上可回放视觉外挂VISTA，不改权重通关25款解谜游戏且动作比人类少57%

没改一行权重，AI通关25款游戏，动作比人少了一半多。

这是麻省理工团队刚公布的一组测试结果。
用的模型就是大家平时用的 Claude，参数一个没动，没做任何额外微调。
测试对象是 ARC-AGI-3 里的全部 25 个公开解谜游戏。

平时没玩过这套游戏的人类，初次上手通关需要一堆尝试。
而 Claude 玩通全部 25 关，耗费的操作动作比人类整整少了 57.4%。

以前大模型玩这种未知规则的互动谜题，到底卡在哪？
算力其实不缺，它缺的是眼睛和记性，过去基本是在盲人摸象。

大家让多模态大模型玩游戏，常规做法无非两种。
一种是把屏幕画面强行转成文字或者坐标，塞进提示词。
一个二维的棋盘，一旦变成长串的坐标代码，空间上的相对位置、图形移动的轨迹，全被拆碎了。
另一种做法，是每走一步截一张图给它看。
但玩游戏动辄几十上百步。
上下文窗口很快就挤爆了，为了省空间，前面的图越缩越小、越扔越多。
走着走着，它就忘了十步之前地图右上角到底长什么样。
就像一个人在走迷宫，走一步瞎一步，全凭当下的直觉蒙。

麻省理工这套叫 VISTA 的外挂框架，解法其实特别质朴。
他们就干了两件事：眼睛不瞎猜，脑子带回放。

第一，原画直看。
画面不转文字，不压成低保真特征，直接把未压缩的二维图像喂给模型。
让它像人眼一样，一眼看到各个色块、障碍物之间的空间关系。

第二，无损视觉记忆。
每做一次操作，当前画面就被原封不动存进一个独立的视觉记忆库。
这个记忆库不只是死存数据，AI 还能随时主动翻出来看。

这就很有意思了。
AI 走到第 15 步卡住了，它不用靠残存的文本去猜。
它可以直接把第 3 步和第 8 步的截图抽出来，并排放在一起核对：
刚才我碰了红色方块，右下角的门到底开没开？
如果没开，说明这步试探是错的，马上掉头换一条路。

过去是在信息流里瞎碰，碰对了算运气。
现在有了随时能倒带的视觉画板，它是在根据每一次动作的视觉反馈做推演。
先给假设，再去试探，翻录像核对，然后纠错。

测试里那 57.4% 的动作缩减，全是从那些无意义的无头乱撞里省出来的。

这件事情最耐人寻味的地方在哪？
大家总习惯觉得大模型处理复杂现实任务不够聪明，是因为参数太小、预训练数据不够多，得花大钱去重新炼丹。
但这次连一克算力的模型权重都没改。
给它接上一对不失真的眼睛，再在旁边放一本能随时翻看前几页的速写本，它就直接把解谜效率推到了人类的一倍以上。

很多时候卡住智能的，未必是脑力本身的上限。
可能只是你一直没给它配一张最基础的草稿纸。

_Rendered by mubei-terminal._