DEPICT：通过答案一致性评估文本与图像的对齐程度
评估文本与图像的对齐程度有助于检验图像说明、检测幻觉、筛选数据以及评测文生图模型。研究人员提出了无需额外训练的评估指标 DEPICT。它比较基于图像得出的答案与仅根据说明得出的答案，并根据说明能否明确决定答案来为问题加权。与整体评分结合后，DEPICT 对否定表达的准确率从 19% 提升至 88%。在五项基准测试和三个模型系列的 11 个骨干模型上，DEPICT 优于所有受测的免训练指标；在衡量与人类判断相关性的三项基准测试中，有两项超过了经过微调的评估器。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。