CRM-Agent-Bench：评测有状态企业环境中的工具使用智能体
CRM-Agent-Bench 是一项基于实际执行结果的基准测试，用于评估在 CRM 系统中处理多步骤业务流程的 AI 智能体。它包含 555 个有状态任务，覆盖九个业务领域和 36 项能力标签。每项任务都配有可执行的专属契约，用于检查操作、顺序、回复、目标状态及受保护状态等条件。在受测的 16 个系统中，严格成功率为 64.32% 至 83.60%。领先系统的总体成绩接近，但在成本和各领域的可靠性方面差异显著。该基准还报告任务覆盖率、延迟和成本。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。