Marionette预测世界状态、渲染几何并生成外观
Marionette是一种面向交互式游戏的世界模型。它不直接生成像素或潜在表示，而是预测一个包含多实体关节骨架、根部轨迹和旋转的276维显式三维世界状态。无参数渲染器根据该状态计算几何结构和遮挡，带控制条件的视频扩散模型则生成逼真的RGB画面。这种分离式设计提升了可控性和长时一致性。向预测状态加入地形碰撞器和距离上限后，角色陷入地面的情况减少了66%，角色彼此漂移过远的问题也得到抑制。研究人员表示，与记录的姿态相比，画面保真度没有可检测的下降。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。