AgentProofBench:Web 智能体可复用验证器基准测试
AgentProofBench 用于评估 Web 智能体的验证器能否在需求变化时重复使用,并支持后续执行。该基准涵盖 4 个 Web 服务中的 79 个任务系列,共 97 项任务。研究使用 DeepSeek Flash 和 Pro 进行实验,考察验证器的复用情况及其与执行正确性的关系。在 22 个执行任务系列中,验证面板无错误的 33 个程序分配中,有 32 个能在两个已保存的初始状态下都正确完成;面板有错误时,则只有 11 个分配中的 1 个成功。公开的任务、状态、程序、参考规则和执行轨迹,可用于追踪验证失败对执行造成的影响。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。