UndoBench 将使用工具的 AI 智能体的任务能力与恢复能力分开评估
UndoBench 是一项基准测试，分别衡量 AI 智能体在正常情况下完成任务的能力，以及从故障中恢复的能力。测试涵盖 8 个企业领域中的 36 个工作流和 36 种故障场景。在 2,880 组配对试验中，常规任务能力为 83.54%，条件恢复成功率则为 46.72%。简单重试在 53.33% 的试验中造成外部效果重复。研究显示，恢复风险会随执行阶段而变化；如果只评估任务是否完成，这些风险可能被掩盖。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。