从合成到去除:基于物理的反射模拟与扩散模型视频去反射
研究人员提出了一套用于去除玻璃拍摄视频中反射的框架。S2R-Synthesis管线通过模拟玻璃粗糙度造成的模糊、厚度引起的重影以及反射率变化等物理效应,生成有反射和无反射的视频配对数据。在此基础上,S2R-Removal利用预训练视频扩散模型进行适配,在一次去噪步骤中恢复干净的透射画面。研究还构建了S2R-Bench,这是一个面向视频反射去除的基准,支持全参考评估和真实场景下的人工感知评估。实验结果表明,该方法在多个公开图像基准上取得了领先性能,推理速度也快于多种非扩散模型基线。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。