OmniCompass：全面评测全模态视频定位与理解的基准
OmniCompass 是一套用于系统评估多模态大语言模型视频理解能力的基准。它包含两个方向：OmniCompass-VL 评测需要视觉证据的任务，OmniCompass-AV 评测需要结合音频与视觉证据的任务。两者均涵盖时间定位、空间定位和问答。OmniCompass-VL 收录 820 个视频和 2,460 个实例；叙事与音频内容丰富的 AV 子集则包含 240 个视频和 720 个实例。对 50 个模型的评测显示，开源模型整体落后于专有模型，尤其在视听理解方面。即使是领先模型，也难以准确定位时间和空间信息；当目标分别通过纯文本或文本加图像指定时，模型预测仍可能不一致。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。