潜在预测误差何时能支持视频世界模型中的物理惊讶判断？
视频世界模型的预测误差常被视为物理惊讶的指标，但它也可能反映外观、静态内容、运动或一般预测难度。本研究提出评估框架，用于分析冻结表征包含哪些信息、如何呈现外观与物理差异，以及哪些因素会改变模型的预测误差。在 IntPhys2 基准测试中，V-JEPA2包含一些关于事件是否符合物理规律的信息，但外观特征仍易于解码。多个数据集上的实验表明，预测误差也会对外观变化作出反应，且无法可靠地区分不可能事件与可能事件。因此，模型即使能够表征物理信息，其原生预测误差也未必能可靠衡量物理惊讶。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。