EXPL-FR：通过视觉语言对齐解释人脸识别模型
EXPL-FR提出了一种无需访问内部架构即可解释深度人脸识别模型的方法。研究人员使用轻量级适配器，将视觉语言模型的图像编码器对齐到冻结的人脸识别模型嵌入空间。由于图像和文本编码器共享同一空间，22个类别中的978个属性提示词可以转换为人脸识别空间中的锚点。研究通过人脸验证协议和消融实验检验这种迁移是否有效。并非所有概念都能被识别，因为人脸识别模型会丢弃身份验证不需要的因素。一个无需标签的指标筛选出最易分离的100个概念，形成模型可读的语义特征。研究在4个脸部识别骨干模型和2个视觉语言编码器上进行测试，并利用提示词驱动的审计方法，根据模型在不同族群上的RFW错误进行排序，同时评估受控属性变化对验证结果的影响。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。