MMEnterprise-Bench：评估企业智能体处理不断演变的多模态记录
MMEnterprise-Bench是一套包含1,613个问题的基准测试，问题基于模拟协作项目中不断更新的多模态工作记录。它评估证据推理、冲突解决，以及识别现有证据不足以支持答案的能力。研究人员测试了10个专有和开源多模态大语言模型，发现即使是性能最强的模型，在处理跨来源或时间上的冲突，以及分布在多张图片中的证据时仍然表现不佳。增加检索预算通常能提高证据召回率，但并不能稳定提升回答准确率。代码和数据已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。