{"id":"mb-20261012-756e85","kind":"deep","title":"MIT给Claude装上可回放视觉外挂VISTA，不改权重通关25款解谜游戏且动作比人类少57%","summary":"麻省理工学院开发出VISTA视觉框架，在完全不改动大模型权重的前提下，通过未压缩二维图像输入与主动可查阅的无损视觉记忆，让Claude在ARC-AGI-3的25个公开解谜游戏中全部通关，且操作动作比初次尝试的人类少57.4%。本文拆解这一外挂机制如何解决多模态模型容易在长流程中失忆的痛点。","body":"没改一行权重，AI通关25款游戏，动作比人少了一半多。\n\n这是麻省理工团队刚公布的一组测试结果。\n用的模型就是大家平时用的 Claude，参数一个没动，没做任何额外微调。\n测试对象是 ARC-AGI-3 里的全部 25 个公开解谜游戏。\n\n平时没玩过这套游戏的人类，初次上手通关需要一堆尝试。\n而 Claude 玩通全部 25 关，耗费的操作动作比人类整整少了 57.4%。\n\n以前大模型玩这种未知规则的互动谜题，到底卡在哪？\n算力其实不缺，它缺的是眼睛和记性，过去基本是在盲人摸象。\n\n大家让多模态大模型玩游戏，常规做法无非两种。\n一种是把屏幕画面强行转成文字或者坐标，塞进提示词。\n一个二维的棋盘，一旦变成长串的坐标代码，空间上的相对位置、图形移动的轨迹，全被拆碎了。\n另一种做法，是每走一步截一张图给它看。\n但玩游戏动辄几十上百步。\n上下文窗口很快就挤爆了，为了省空间，前面的图越缩越小、越扔越多。\n走着走着，它就忘了十步之前地图右上角到底长什么样。\n就像一个人在走迷宫，走一步瞎一步，全凭当下的直觉蒙。\n\n麻省理工这套叫 VISTA 的外挂框架，解法其实特别质朴。\n他们就干了两件事：眼睛不瞎猜，脑子带回放。\n\n第一，原画直看。\n画面不转文字，不压成低保真特征，直接把未压缩的二维图像喂给模型。\n让它像人眼一样，一眼看到各个色块、障碍物之间的空间关系。\n\n第二，无损视觉记忆。\n每做一次操作，当前画面就被原封不动存进一个独立的视觉记忆库。\n这个记忆库不只是死存数据，AI 还能随时主动翻出来看。\n\n这就很有意思了。\nAI 走到第 15 步卡住了，它不用靠残存的文本去猜。\n它可以直接把第 3 步和第 8 步的截图抽出来，并排放在一起核对：\n刚才我碰了红色方块，右下角的门到底开没开？\n如果没开，说明这步试探是错的，马上掉头换一条路。\n\n过去是在信息流里瞎碰，碰对了算运气。\n现在有了随时能倒带的视觉画板，它是在根据每一次动作的视觉反馈做推演。\n先给假设，再去试探，翻录像核对，然后纠错。\n\n测试里那 57.4% 的动作缩减，全是从那些无意义的无头乱撞里省出来的。\n\n这件事情最耐人寻味的地方在哪？\n大家总习惯觉得大模型处理复杂现实任务不够聪明，是因为参数太小、预训练数据不够多，得花大钱去重新炼丹。\n但这次连一克算力的模型权重都没改。\n给它接上一对不失真的眼睛，再在旁边放一本能随时翻看前几页的速写本，它就直接把解谜效率推到了人类的一倍以上。\n\n很多时候卡住智能的，未必是脑力本身的上限。\n可能只是你一直没给它配一张最基础的草稿纸。","topic":"MIT给Claude装上可回放视觉外挂VISTA，不改权重通关25款解谜游戏且动作比人类少57%","frame_type":["机制"],"citations":[],"channel_note":"","identity_notice":"","source_type":"generated","status":"published","generated_at":"2026-10-12 16:12:27","legal_anchor_count":0,"transcript_citation_count":0}