WorldFlow：通过大规模预训练联合预测视频与 3D 运动
WorldFlow 是一种生成式世界模型，可联合预测未来视频和基于查询的 3D 轨迹。其 Mixture-of-Transformers 主干网络采用 rectified flow 目标函数对两种模态进行建模。该模型使用来自模拟和真实环境的 144 万个对象级样本训练。研究团队还推出了 WorldFlowBench，包含来自 11 个数据源的 1,678 个评估样本。在三组评测中，WorldFlow 据报告在受测的学习型方法中取得最低的平均位移误差。在 SpatialCog 上，其 ADE 比最强的外部基线低 54.2%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。