APM-Bench:评测第一人称流式视频助手的跨会话持久记忆
APM-Bench用于评估流式视频助手能否在多次中断的交互会话之间保留并利用信息。该基准包含104条活动轨迹中的549个会话,共有2,719个候选项,涵盖客观题和开放式问题。评测内容包括长期回忆、主动响应、内存与延迟开销,以及识别证据不足的能力。结果显示,现有方法仍难以同时实现可靠的长期记忆、较低开销和有效的跨会话协助。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。