GGSS:用于生成式视觉语言模型推理时去偏的测地线门控球面引导
生成式视觉语言模型即使面对仅在感知种族或性别等受控属性上存在差异的图像,也可能生成带有人口统计偏见的内容。GGSS是一种推理时去偏方法,它在单位超球面上发现反事实偏见子空间,沿测地线弧线调整视觉标记,并自适应地重点修正携带更强人口统计信号的标记。在四个生成式视觉语言模型和十种对比方法上的评估中,GGSS在全部四个模型上取得了最低的平均偏见;其中三个模型骨干上的改进具有统计显著性。同时,MMStar准确率相较未调整基线保持在正负0.6个百分点以内。代码已公开。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。