BizBench 揭示长程智能体在真实商业环境部署中的隐性挑战
BizBench 是一项多轮 AI 智能体基准测试,基于一家支付公司的真实业务流程构建,包含 50 项任务、789 份知识文档和 601 种可发现工具。它不仅评估目标是否达成,也检查执行过程各步骤是否有效。测试中,Claude Opus 5 和 GPT-6 Sol 的严格成功率分别为 64.0% 和 61.3%。Qwen3.8-27B 的目标达成率为 42.0%,但将执行有效性纳入评估后,严格成功率降至 32.7%。结果表明,只依据最终结果进行评估,可能会掩盖无效的中间步骤。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。