FlashVSR+:通过混合注意力与 Ry-DMD 提升视频超分辨率效率
FlashVSR+将架构改进与新训练方法结合,用于视频超分辨率。其混合注意力以局部处理为主,同时保留稀疏的全局交互,以维持长距离一致性。研究团队称,该方法推理速度最高提升2倍,峰值内存用量降低45%,可在单张24GB RTX 4090上进行不切块的4K视频处理。Ry-DMD将按奖励加权的教师模型输出融入分布匹配,无需通过奖励模型反向传播。团队报告称,修复质量和用户偏好均有所提升,且该方法也可用于文本生成图像。代码、模型和训练数据将公开。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。