看不见的捷径：视觉编码器为何能识别你的相机
一项新研究发现，大型视觉模型会利用像素级的隐形元数据痕迹，包括与图像处理和拍摄设备相关的信号。在带标签图像或大规模图像—文本数据上进行预训练时，模型可能学会这些低层信号与语义内容之间的相关性，并将其作为预测捷径。相关性越强，模型对元数据的敏感度越高；当元数据分布发生变化时，性能下降也越明显。研究人员测试了在预训练期间或之后采用的缓解方法，结果显示，这些方法能够降低模型对已知和未知元数据的敏感性，同时不损害下游任务性能。研究还表明，这种元数据敏感性可能部分解释某些编码器为何能够有效检测生成图像，而降低这种敏感性则有助于提升分布外泛化能力。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。