ActionRoPE：将动作表示为坐标，实现平面摄像机游戏世界模型的空间一致控制
游戏世界模型正朝着实时交互生成发展，但动作通常以特征条件的形式输入，模型需要从训练数据中学习动作对视觉世界的影响。ActionRoPE直接用世界坐标表示动作引起的摄像机位移，使同一位置对应的标记在不同时间保持相同的位置编码。研究还提出Coordinate-Conditioned Noise Scheduling，根据已观测区域和新显露区域的差异分配不同的去噪计划。与四种动作条件化机制相比，ActionRoPE更忠实地执行指定移动；相较于最强基线，重访地点时的漂移减少了66%。该方法还在参数量从13亿到330亿的视频骨干模型及训练分布外场景中进行了测试。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。