Omni-InteractScope：评估连续全模态流中的主动式与智能体交互
Omni-InteractScope 是一个用于评估多模态语言模型的基准，关注模型在观察连续音视频流时，能否及时、持续地主动帮助用户。该基准包含 1,479 条经过人工标注和交叉审核的交互，以及分布在八类任务中的 1,790 个时间目标。对 12 个模型的实验显示，工具调用目标的首次响应及时率最高仅为 40%，同时满足时机和工具使用要求的准确率最高为 32%。无需用户明确提问的提醒，其召回率从未超过 23%。在端到端指导方面，9 个模型无法完整覆盖 26 个指导序列中的任何一个，另外 3 个模型也只能覆盖 1 至 3 个。研究表明，当前全模态模型在事件依据、及时行动、主动满足用户需求以及覆盖完整响应序列方面仍存在明显不足。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。