World Observer:用于持久世界建模的演员-观察者联合生成
World Observer扩展了基于视频的世界模型。这类模型通常只追踪行动智能体当前视野内的环境。该方法同时生成以智能体为中心的演员视角,以及持续监测环境特定区域的全景观察者。这样,物体离开智能体视野后仍可继续演化,并在重新进入视野时呈现更新后的状态和动态。系统利用共享的全景源建立明确的几何对应关系,并通过高分辨率参考恢复细节外观。研究还提出了世界空间评估指标,以及覆盖真实和合成场景的基准测试;结果显示,该方法改善了视野外动态建模,同时保持了具有竞争力的视觉保真度、摄像机控制和三维一致性。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。