端到端智能体审计引擎
A^2E 是一款面向智能体运行框架的端到端评估引擎。其智能体任务协议支持将评估任务快速接入不同框架,并通过自动插桩的监控器采集标准化执行轨迹。系统不只评估正确性,还从执行效率、工具使用、任务规划和错误恢复等多个维度衡量框架能力。实验表明,模型与框架的组合在不同任务类型上的表现差异明显,没有任何组合能在所有任务中持续领先。相关代码已在 GitHub 开源。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。