通过点轨迹预测学习 4D 世界
Video-Point Model（VPM）利用多台摄像机的视频历史和语言指令，预测不同视角下的未来视频，以及场景中持续追踪的点的运动轨迹。研究团队通过轨迹监督，将各视角的视频生成锚定在一致的 3D 运动表示上。他们还推出模拟数据集 VPM-Data，以及涵盖模拟和真实环境的基准 VP-WorldBench。将机器人动作作为一种输入模态后，VPM 也可用于控制。在模拟环境和真实机器人实验中，与仅使用视频的模型相比，VPM 提高了视频保真度、3D 运动准确性和操作任务成功率。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。