WorldBridge 连接视频与动作，提升 World Action Models 的任务泛化能力
这项研究探讨 World Action Models（WAM）如何将能力迁移到物理环境中的新任务。在 RoboTwin 2.0 上，仅使用训练分布内的视频和动作数据时，模型在分布外任务上的成功率为 25.07%；加入没有动作标签的新任务视频后，成功率升至 55.90%；每项任务再增加一个带动作标签的示范后，成功率达到 70.70%。研究团队提出 WorldBridge，通过结构化注意力连接视频专家和动作专家，并进行联合训练。该模型在 RoboTwin 2.0 全量数据设置下达到 96.23%，在 RoboCasa GR1 TableTop 上达到 82.8%，在 DOMINO Level-1 上达到 57.6%。研究结果表明，视频预测与动作监督对机器人任务迁移具有互补作用。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。