重新思考智能体框架中的验证机制
一项研究将验证作为智能体框架中的测试时扩展方法进行分析。此类框架允许语言模型调用工具、观察结果，并反复修改工作。研究人员在 Terminal-Bench 和 SWE-bench Verified 上，使用 7 个前沿编程模型比较了 17 种验证设计，并推出 VisualBench 评估视觉和交互式成果。初始指令和执行期间的提醒带来的平均提升有限，且因模型而异。完成检查能够带来更大改进，但可能显著增加成本。由独立批评者进行的审查在准确率和成本之间取得了更好的平衡：Terminal-Bench 的平均准确率提高 5.9 至 9.5 个百分点，SWE-bench 提高 3.9 至 6.6 个百分点，而成本仅略高于基准。增加审查轮次还可进一步提升结果。研究支持将独立审查作为一种实用的测试时扩展策略。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。