诊断参照缺口：视觉辅助能解决和不能解决哪些多模态推理问题
多模态语言模型能够识别视觉内容，但在计数等多步骤任务中，常会忘记哪些对象已经处理过。研究人员将这类问题称为“参照缺口”：语言无法可靠地与相关视觉实体、区域或位置建立对应关系。在涵盖五种视觉推理任务的 ReGap-Bench 基准测试中，与任务匹配的参照方式（如给对象编号）使准确率最高提升了 25%。不匹配的参照方式效果有限，有时还会降低表现。研究表明，采用适合任务的视觉参照信息，无需额外训练也可能改善多模态推理。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。