ReFlowSET:基于表征对齐的潜在流匹配实现SAR到EO图像转换
ReFlowSET是一种条件潜在流匹配方法,用于将合成孔径雷达(SAR)观测数据转换为电光(EO)图像。与通常依赖自然图像预训练自编码器的现有方法不同,该方法通过联合评估SAR输入和EO目标的重建效果来选择潜在编解码器。随后,它在选定的潜在空间中从头训练一个规模显著更小的条件DiT模型。训练过程中,带噪声的EO特征会与冻结视觉基础模型提取的干净表征进行对齐,但不会增加推理成本。在QXS-SAROPT和SAR2Opt数据集上的实验显示,该方法在多项感知质量和分布指标上达到领先水平。代码和预训练权重已公开。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。