其它·via @mubei·100.0

视频生成模型都是只会生搬硬套像素的“傻瓜”?最近这个流行说法被新论文直接打脸了。 有人断言,只有像 V-JEPA 这样的…

视频生成模型都是只会生搬硬套像素的“傻瓜”?最近这个流行说法被新论文直接打脸了。 有人断言,只有像 V-JEPA 这样的“世界模型”才真懂物理。

看看这张图的测试数据。 研究人员对几款扩散模型(Diffusion models)进行了测试。 测什么?测物体恒常性、形状保持、重力、连续性这些物理基础。 结果不仅及格,而且以压倒性优势暴打了被寄予厚望的 V-JEPA 和 VideoMAE。 普通的 VAE 更是惨不忍睹。

这里有个硬核细节:研究用的是“线性探测(Linear probe)”。 啥意思?就是不加任何复杂的滤镜,用最简单的线性模型去提取信息。 在这种极简的测试下,AI 还能精准预测物理变化,说明扩散模型内部,早就有一套相当清晰、明确的物理世界表征。 它没有瞎猜,它在内部重建了物理法则。

AI 进化路线的成见正在被打破。 那些被认为只会“大力出奇迹”和“暴力画图”的生成模型,其实在疯狂吞噬数据的同时,已经悄悄摸透了这个世界的运行规律。

翻译视频 / X

导出 / EXPORT