HyperBrowseComp:面向网页浏览智能体的多语言、多模态压力测试
HyperBrowseComp 是一项包含 423 道题目的基准测试,题目以 13 种语言手工编写并经过人工验证。高难度题目要求寻找隐蔽证据、追踪多步线索,并检查视频、扫描文档、图片或地图等不同来源。研究尽可能筛除了仅凭模型已有知识即可回答的题目。研究人员使用各模型提供方自带的搜索功能,以及统一的外部检索环境评估多个模型,并抽样开展人工评测以作对照。该基准用于衡量智能体能否跨越语言和媒介,在开放网络上找到并关联证据。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。