DreamX-Phi 1.0：用于机器人操作的动作条件视频世界模型
DreamX-Phi 1.0是一种面向机器人操作的视频世界模型，可根据观测帧、语言指令以及由末端执行器位姿和夹爪状态组成的动作序列，预测未来观测结果。模型通过将SE(3)几何变换注入注意力机制，保留各机械臂的身份和指定运动轨迹。轻量级深度分支用于增强场景几何建模，SAM3掩码与冻结的V-JEPA教师模型则帮助维持抓取过程中小型操作物体的一致性。此外，研究人员将多步生成器蒸馏为少步模型，以提高部署效率。据作者介绍，该模型在WorldArena 2.0挑战赛Track 1中排名第一，在Track 2中排名第二。模型和代码计划公开发布。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。