Marigold V2 重新探索扩散 Transformer 在单目深度估计中的应用
Marigold V2 将扩散 Transformer 模型用于从单张图像估计深度。该方法基于预训练流匹配模型进行单步推理，并在必要时采用量化，以降低运行成本。研究人员通过将模型内部表示与真实数据的语义特征对齐，并采用基于新型 Sinkhorn 损失的两阶段微调流程，解决朴素训练产生的伪影。结果显示，模型生成的深度图更加清晰，在分布外输入上的泛化能力也更强。在 KITTI 和 ETH3D 数据集上，AbsRel 指标较此前最佳结果提升 16% 至 26%，并能更好地处理毛发、植被和极细边缘等结构。此外，Marigold V2 在表面法线估计和内在图像分解任务上也取得了领先性能。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。