模型使用了这条信息吗？反事实训练提升语言模型的自我归因能力
这项研究考察语言模型能否识别并说明：随问题提供的外部信息是否影响了它们的回答。在对11个前沿模型的测试中，大多数模型很少归因于真正影响回答的信息，另一些模型则连未产生影响的信息也会归因。让模型在推理过程中承认信息来源并未可靠解决这一问题，因为相关承认往往无法传递到最终答案。研究人员提出CREDIT，利用反事实标签直接训练模型在最终答案中进行自我归因，无需人工标注。CREDIT显著提升了4个开放模型的归因能力，其中包括两个蒸馏推理模型，并优于推理层面微调和提示方法。在未见过的信息类型以及包含相互矛盾来源的提示上，部分改进仍然有效。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。