OmniConfess通过逐Token“供词”缓解全模态幻觉
OmniConfess是一种无需训练的全模态幻觉缓解方法。它固定一个候选回答，并在受控调整各输入通道证据的同时，逐Token重新评分，从而生成结构化结果，揭示回答各部分依赖哪些文本、图像、音频或视频证据。该方法利用这些信息保留有依据的内容，并修正由无关或矛盾证据驱动的判断。研究团队还构建了OmniHalluBench，包含来自六个数据集的3,540个样例，覆盖文本、图像、音频和视频场景，以及判断和自由生成任务。实验显示，该方法在不同模态和任务中均能缓解幻觉。代码和基准测试集已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。