HSPR：通过层次后验推断恢复软件智能体基准测试分数
在完整基准测试上评估软件智能体的成本很高。HSPR（Hierarchical Score Posterior Recovery）通过少量自适应选取的任务估计完整基准分数。该方法结合基于源数据拟合的响应因子与不确定的分组成功率，并根据观测结果更新目标智能体的潜在状态。在 SWE-bench 系列的四个任务集上，使用 10% 的任务预算时，HSPR 在三个任务集上取得最低平均绝对误差，在全部四个任务集上取得最低最大绝对误差。消融实验表明，去除分组不确定性或自适应查询都会降低准确性。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。