EgoTools:评估真实第一人称视频中的工具中心推理能力
EgoTools推出了用于评估模型理解真实第一人称视频中工具使用情况的数据集和基准测试。EgoTools-Data包含100小时的音频同步视频、密集字幕、详细讲述及补充三维信息;EgoTools-Bench则包含1,000道涉及感知、几何、操作流程和因果推理的问题。Gemini-3.1-Pro的总体准确率为66.9%,但在感知与视觉依据判断方面仅为51.7%。使用该数据进行微调后,Qwen3-VL-8B-Instruct的基准测试成绩从50.0%提升至60.9%。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。