一次成功不等于可靠：Thinkingbox评估有状态业务工作流中的智能体
微软研究人员推出Thinkingbox，这是一个用于评估AI智能体的沙盒和基准测试，重点关注会修改后端持久状态的多步骤业务任务。Thinkingbox-bench包含507个受政策约束的工作流，覆盖零售、酒店、汽车保险、银行和IT支持等领域。系统通过可执行检查验证正确的状态转换，并拒绝缺失、错误或意外的影响。表现最强的模型在pass@1上达到65.36%，但pass^20仅为25.25%。结果表明，偶尔找到成功路径与可靠完成业务任务之间存在明显差距。Thinkingbox和Thinkingbox-bench均已开源发布。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。