用于组合图像检索的因子化 MLLM 嵌入
组合图像检索(CIR)根据参考图像和描述修改内容的文本,查找目标图像。FactEmbed 将理解所需视觉修改与构建检索表示这两个过程分开。该方法使用因子化潜在表示,并设置一个用于想象目标图像的中间目标,使表示能够贴合目标语义。在多个 CIR 基准测试中,FactEmbed 的表现优于此前方法。同一次模型运行生成的表示可同时用于检索和对少量候选图像重新排序。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。