HiP3R:面向长时序三维重建的层次化位姿图
前馈模型能够从短视频片段准确估计相机运动和三维几何,但其内存与计算成本使其难以直接处理超长序列。HiP3R 将视频划分为相互重叠的片段,并通过层次化位姿图整合各片段的局部重建结果。该方法首先优化片段级 Sim(3) 图,以确定全局布局和尺度;随后固定这一布局,为每帧估计一个共享的 SE(3) 相机位姿。多个基准测试结果显示,HiP3R 改善了相机轨迹和三维重建效果。它可用于分片式和流式后端,无需额外训练或微调。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。