VEDJE：面向可扩展视频文本检索的高效联合编码器
VEDJE 压缩采样视频帧的特征，同时将各自的表示分别存入可复用缓存。通过预测特征变化提供辅助训练信号，提升检索效果，且不增加查询时的计算开销。在 MSR-VTT、MSVD、DiDeMo 和 ActivityNet 上，该方法在两个检索方向的 R@1 均优于相当的第一阶段检索器。使用微调后的 VideoCLIP-XL 作为第一阶段模型时，VEDJE 在 MSR-VTT 的文本到视频检索 R@1 达到 59.8。在 VideoPrism 配置下，每个视频的缓存可缩小至原来的四分之一，即 12 KiB，同时文本到视频召回率的差距控制在 0.2 个百分点以内。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。