FDE-Gym：AI交付的最后一公里
FDE-Gym是一项基准测试，涵盖20种客户场景、18个行业中的95项真实交付任务。与常见的智能体基准测试不同，它评估智能体能否澄清模糊需求、与相关人员沟通，并在类似生产环境的系统中实施解决方案。在评估的13种模型配置中，表现最佳者在现实场景下的平均得分为0.56，95项任务中仅成功解决14项。发现未明确说明的限制条件是主要瓶颈。即使获得所需信息，智能体也常常无法带来显著的业务改善。结果表明，解决定义明确的任务与为真实客户交付有效AI系统之间仍存在明显差距。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。