通过聚焦视图提升非结构化知识编辑中的原子事实回忆能力
大型语言模型不会自动反映训练后发生变化的事实。知识编辑可以避免昂贵的重新训练，针对特定信息进行更新；但在非结构化知识编辑中，模型可能依赖原始段落的上下文才能可靠地回忆单个事实。研究人员指出，部分原因是后出现的事实拥有更丰富的上下文，因此会被误认为更容易学习。他们提出 FOVEATED，在编辑期间随机移动前文上下文中各键对应的 RoPE 位置，为每个句子构建聚焦视图。该扰动会在推理前移除，因此推理时模型原有的位置编码保持不变。在五种编辑方法、两个语言模型和三个基准测试上的评估显示，该方法带来了稳定提升。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。