TaoMate-FVSR：音频引导的面部视频修复
TaoMate-FVSR用于修复视频中的面部细节，并使重建的嘴唇和牙齿与语音相匹配。该方法将部分保留的观测信息与参考图像及连续运动信息结合起来。训练内容包括修复受损图像和视频，以及利用目标音频校正配音视频。在说话人头部视频修复基准测试中，与其他对比方法相比，该方法的成对感知相似度和音视频同步得分最高。研究还展示了其在AI生成视频中恢复唇部轮廓、牙齿结构和面部纹理的效果。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。