陷入混淆：视觉语言模型中的属性—对象绑定
该研究提出 SABER，这是一个用于评估多模态检索系统中属性与对象绑定能力的受控基准。SABER 覆盖图像和文本查询与检索内容之间的四种组合，包含多种属性类型以及最多有十个对象的场景。评测显示，CLIP 风格的双编码器和近期基于多模态大语言模型的嵌入模型都存在明显的绑定失败。研究人员随后仅使用用于属性绑定训练的合成文本，对一个多模态嵌入模型进行微调。尽管没有使用图像监督，该方法仍提升了跨模态检索和图像间检索性能，同时保持了整体多模态嵌入能力。在否定和实例检索基准上也取得改进，并在 SABER 上达到领先水平。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。