判断不错，建议不佳：决策模型增加智能体成本，却未提升成功率
一项预先设计的研究使用 21 个保留的 Terminal-Bench 2.1 任务，测试决策模型 Jev 1.13 能否在不降低表现的情况下减少终端智能体的成本。在固定智能体运行流程后，Jev 使每次尝试的成本增加 19%，通过率则维持在 73%。它比小型语言模型控制器便宜，但比安慰剂高出 22%。Jev 在离线评估中更善于判断完成请求，但校准不佳，会让智能体重复检查已经正确的工作。没有任何控制器选择放弃一次运行。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。