同一代理，不同答案：审计检索增强问答中由语料库变化引发的答案波动
一项研究发现，检索增强问答系统扩展索引后可能生成不同答案，即使模型标识符、提示词、检索策略和生成设置均保持不变。研究人员提出“快照兼容性审计”，用于区分同一快照重复运行时的正常差异，以及不同索引版本带来的变化。在一项针对400道 Natural Questions 题目的预注册研究中，额外的语义答案波动达到10.25个百分点，而精确匹配准确率仅变化-1.50个百分点。TriviaQA也出现幅度较小但方向一致的影响。使用第二套 DeepSeek 配置进行的复现实验发现，即使精确匹配率上升，语义答案波动仍达到8.75个百分点。研究建议，检索增强系统更新时，除了准确率，还应审计答案兼容性。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。