EvaOmni：基于证据的视听推理基准
EvaOmni用于评估多模态语言模型在视听推理中是否真正利用了音频和视觉证据。该基准包含392段视频和1,027组人工标注的问答，覆盖15项能力和三个难度级别。模型不仅要作答，还必须给出支持答案的时间区间。新提出的指标分别衡量证据覆盖度和时间定位准确性。在对7个开放权重模型和17个专有模型的测试中，Gemini 3.7 Flash的整体准确率最高，为79.4%。在复杂任务中，它的准确率达到79.1%，但时间定位得分仅为12.3%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。