Continual Learning Exam：评估LLM智能体的长期经验学习能力
Continual Learning Exam（CLE）是一项基准测试，用于衡量LLM智能体在真实专业工作流程中能否通过经验持续改进，同时保留有用的既有知识。该基准包含120项由专家编写的任务，每项任务分为五个递进关卡，共600个关卡，覆盖89种职业和12个职业领域。在使用前沿LLM的17种智能体与模型配置测试中，提供诊断反馈并允许修改一次，使完成率中位数提高了5.3个百分点。不过，表现最佳的系统也只通过了47.7%的关卡，仅在23.3%的任务中完成全部五关。该数据集还可用于LLM的后训练。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。