Puffin-World：利用原生3D世界状态扩展统一多模态模型
Puffin-World是一种统一的多模态架构，将物理理解、空间模拟以及3D世界生成与重建整合到单一系统中。它共同建模重力场和纬度等物理状态、由深度表示的几何结构，以及图像形式的外观。统一的Omni-Camera表示支持多种任务和灵活的相机运动。系统在生成未来视角的同时重建其底层几何结构，旨在生成物理一致且视觉稳定的世界。为扩展复杂场景的训练，研究团队构建了Puffin-16M数据集，其中包含1500万组视觉、语言与相机三元组，以及100万条运动轨迹。代码、模型和数据集均已发布。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。