UniProbe：面向大型视觉语言模型的可学习令牌级幻觉检测器
UniProbe是一种轻量级检测器，旨在以令牌为单位识别大型视觉语言模型生成的幻觉。它无需对整个模型进行高成本微调，而是通过一次前向传播分析模型的内部计算轨迹，包括图像块、查询令牌、生成令牌及其注意力关系。该方法结合图神经网络、Vision Transformer和GRU，整合关系、空间与序列信息。流式版本可在生成过程中检测并重新采样产生幻觉的令牌。作者称，在多种LVLM骨干模型上，UniProbe在令牌级和对象幻觉检测方面达到当时的最佳水平。解码过程中，对象幻觉最多减少55%，延迟为标准生成的1.06倍。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。