面向视频世界模型的持久平面记忆
视频世界模型需要持久的 3D 记忆，才能让生成的环境在长序列中保持一致。PPMem 使用紧凑的平面基元表示墙壁、地板和立面等结构。每个自回归片段都会同时生成 RGB 视频和平面几何；融合后的几何通过渲染深度为后续片段提供条件。作者称，这种记忆比点云方案紧凑得多，同时可提供米制深度、表面法线和可导出的几何。在 DL3DV 和 RealEstate10K 测试中，PPMem 的视频质量优于此前基于 3D 的世界模型，并能在数百帧中保持连贯性。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。