通用多模态嵌入中哪些方法真正有效？对比训练策略的受控研究
该研究在 MMEB 基准上系统比较了多模态嵌入的对比训练策略。与标准基线相比，大多数方法提升有限，部分方法甚至会降低性能。使用 MLLM 作为评审的分析发现，加大高相似度负样本的梯度权重可能损害泛化能力；正负样本相似度分布的间隔扩大，也不一定能提升检索表现。将困难负样本挖掘、假负样本缓解和困难批次构建结合起来效果最佳，在 Qwen2-VL-2B 上平均提升 6.0%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。