Mira-Scene 为生成式 3D 场景实现像素对齐布局
Mira-Scene 是一个用于从单张图像重建 3D 场景的框架,目标是准确放置生成的 3D 物体。该方法不再使用难以学习且泛化能力较弱的稀疏、无界姿态参数,而是建立可见物体像素与其有界规范表面坐标之间的密集像素级对应关系。结合通过单目几何估计获得的场景空间点云图,这些对应关系可用于恢复物体变换。多模态扩散 Transformer 还会联合生成物体几何和坐标图,以提升形状与布局的一致性。在室内、室外、合成及真实场景测试中,相比 SAM3D,3D-IoU 相对提升 39.8%,2D-IoU 提升 16.5%。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。