Trial by Trace：评估AI智能体框架的可靠性与失败归因
TraceTrial-Bench用于评估支持大语言模型智能体运行的框架，而不仅关注模型能力或任务总体成功率。该基准涵盖上下文、执行、治理、生命周期、可观测性、工具和验证七个方面，并构建了95项带有可执行或基于状态的可验证答案的专家级任务。研究团队在4种框架和9个模型上进行了测试，通过轨迹追踪记录执行过程，并采用双层评估分别衡量智能体性能与框架可靠性。在3420次运行中，框架宏平均得分为59.8%至72.0%。其中31.1%的运行虽然未通过至少一项框架标准，但仍成功完成了任务。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。