CORE通过重排序器蒸馏提升MLLM嵌入的组合推理能力
CORE将交叉注意力重排序器的细粒度组合判断蒸馏到基于MLLM的嵌入模型中。该方法构建覆盖五个组合匹配等级的候选列表，并使用Rank-KL目标函数训练嵌入模型复现重排序器的排序结果。在三个组合推理基准测试中，CORE-RERANKER-8B取得82.7%的平均分，比Jina-Reranker高10.7个百分点。CORE-EMBED-8B以0.666的总平均分，在所有评估的嵌入模型中表现最佳。这些改进还迁移到MCMR基准测试，同时没有牺牲模型在COCO和Flickr30K上的检索性能。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。