DataVista:评测多模态大语言模型理解数据视频的基准
DataVista 是一套用于系统评测模型理解数据视频能力的基准。数据视频将数据可视化与视频叙事相结合。该基准包含 961 个真实视频和 6,775 道题目,覆盖数据感知、时间推理和叙事理解。在对 19 种多模态语言模型的评测中,Gemini-3.1-Pro 以 70.0% 的总体准确率表现最佳,但仍明显落后于人类专家。模型在因果推理和叙事结构理解方面表现最弱。增加视频帧数和添加字幕主要有助于提升数据感知与时间推理能力。该基准已在 GitHub 发布。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。