CIViC：代理任务中音频条件视觉预测的证据检验关卡
移除音频可能改变视觉预测模型的输出，但这本身不能证明模型使用了预期的音频信息。CIViC是一套包含四个关卡的流程，将一种解释与干预、留出任务比较或终点控制联系起来。研究人员在演员互不重叠的人脸光栅测试、合成音频特征混合，以及源视频互不重叠的SpeakerVid代理任务中进行了验证。结果因任务而异。在静态人脸测试中，跨演员替换音频符合预先注册的检测规则，但效果较小。在另一项时间性终点测试中，四组配对随机种子下，使用恒定音频的模型表现均优于用音频训练的模型。在SpeakerVid代理任务中，将五个低层音频特征置零降低了全帧灰度RMSE；而对齐音频降低了分段漂移误差。研究结果表明，输出变化、留出数据误差和终点控制，在这些代理任务中分别支持不同的解释。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。