StateFlow:构建、演化和访问用于预可视化的三维世界状态
StateFlow是一种面向电影、游戏、建筑和城市设计的人工智能预可视化研究框架。它不在每次修改时重新生成完整场景或视频,而是维护一个持久、可编辑的三维世界状态,其中包含场景元素、几何结构、外观以及摄像机配置。系统通过三个阶段构建、演化并访问这一状态:将生成的二维内容提升为一致的三维世界,把用户意图转化为保留世界记忆的结构化状态变化,并利用渲染反馈优化摄像机运动轨迹。在需要更高视觉保真度时,还可以结合现有视频模型。实验表明,StateFlow能够为视频创作和类似游戏的原型制作生成高质量三维世界。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。