MemTrapBench评估大语言模型使用记忆时的认知陷阱
MemTrapBench是一项用于评估大语言模型如何受到已存储信息影响的新基准测试。现有记忆评测主要关注信息能否被正确提取、存储和检索，而MemTrapBench进一步考察相关记忆是否会在当前任务中扭曲模型的推理或信念。该基准涵盖两类认知陷阱：推理固着和信念扭曲。研究人员在两个模型系列和五种记忆框架上进行实验，发现所有受测记忆策略的表现都不如不使用记忆的设置，最强方法的性能也下降了超过10%。研究团队还提出推理时方法AdaptiveMem，可缓解这些认知陷阱，同时在标准记忆基准测试中保持或提升性能。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。