ReWorld：具备长时记忆的交互式世界模型
ReWorld是一种交互式世界模型，能够跟随用户操作、记住曾展示过的地点，并实时生成视频。其训练过程将短期控制与长期记忆分离：大多数注意力头关注近期历史，少数全局注意力头则访问完整历史。推理时，模型将有容量限制的KV缓存与按相机姿态索引的地标库结合，用于检索靠近当前位置的历史信息。训练数据涵盖Unreal渲染场景、游戏环境和真实世界视频，并统一到相同的物理动作尺度。通过蒸馏，采样步骤减少到4步，使同一骨干模型能够支持高保真和实时模式。在动作跟随、长时记忆和视频质量测试中，ReWorld据称在与6个近期交互式世界模型的比较中取得了最佳控制精度和生成质量。在64秒的往返轨迹中，即使使用受限缓存，模型仍能重新生成起始视图。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。