VidDub：面向替换音频的两步视频配音蒸馏方法
VidDub是一种用于离线视频配音的扩散式编辑器，旨在让口型匹配替换后的语音，同时保留说话者身份、头部姿态和背景。该方法针对原始口部动作与替换音频不匹配的问题：在这类训练样本中，系统会屏蔽口部重建损失，改用音视频同步信号训练口型。随后，研究团队将完整上下文模型蒸馏为两步去噪模型。在三个训练随机种子下，屏蔽冲突的原始口部重建使跨音频Sync-C提升了0.833。作者还报告称，该模型在四项基准测试中的视觉质量、身份保持和视觉语音识别方面表现良好。团队计划发布训练数据集、基准测试、评估清单及代码。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。