先看执行,再看记忆:诊断视频世界模型的记忆失败
常见的视频世界模型记忆测试,会将场景设置、执行指定变化以及在最后一帧呈现结果合并为一个分数。因此,未能执行变化可能被误判为记忆失败。研究提出 MIST 评估方法,将变化的执行与对其结果的记忆分开测量。结果显示,模型虽能设置场景,却常常无法执行指令要求的变化。研究团队还提出 M3-Agent,通过反复修订指令细节帮助模型完成操作。与基线相比,MIST reveal 分数提升至三倍以上;WRBench 提升 26.1%,MBench-T 提升 52.7%。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。