World Embedding Benchmark评估视频嵌入中的物理信息
World Embedding Benchmark包含8,000个受控仿真案例，覆盖流体与固体力学、动力学、光学和电磁学等80个类别。它通过文本—视频检索、物理属性回归以及视频—描述配对分类任务评估视频嵌入。预训练全模态模型的检索表现较弱，同类别配对分类接近随机水平；但轻量探针能够从冻结的视频嵌入中提取有用的物理信息。使用物理领域专用的视频—文本对继续进行对比训练，可改善检索和分类，却会降低定量物理属性的可恢复性。实验还表明，检索到的参考视频能够提升MiniMax-H3生成视频的物理保真度。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。