SearchHorizonBench：评估 AI 智能体搜索价值的基准测试
AI 智能体需要判断再次搜索是否值得付出相应成本。SearchHorizonBench 是一项基准测试，旨在根据执行经验学习并评估搜索带来的额外收益。成对的后续生成和重复执行有助于区分预期搜索收益与生成噪声。数据集包含针对 3,168 个问题的 45,632 次执行。在留出的 1,632 个问题上，利用历史数据进行校准使 Brier 误差降低了 16.2%，改进主要集中在成功程度相关信息上。该资源还提供可复用的执行历史、固定的数据集划分、基线方法和评分工具。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。