OR-License评估LLM智能体作为现实世界运筹学从业者的能力
OR-License是一项端到端基准测试，包含来自10种工业场景的31个任务，数据源自总额达368万美元的付费运筹学项目。它评估LLM智能体能否根据客户原始材料，产出可行且经过专业验证的解决方案。在对11个模型的测试中，部分模型在结果可行时，目标函数质量超过了专家方案；但没有任何模型达到专家基准的部署调整后质量。表现最强的配置得分为0.87，专家基准为1，严格可行率为88.39%。研究发现，信息收集、问题建模和方案实施仍存在持续性短板。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。