RuleTrek：评测智能体在复杂场景中的规则推理能力
论文提出跨领域基准测试 RuleTrek，用于评估 AI 智能体在复杂场景中识别和应用规则的能力。与以往测试不同，RuleTrek 将相关信息分散在多个文件中，并在交互式工作环境中评测规则识别、规则推导和端到端推理。对 11 个前沿大语言模型的测试显示，规则识别和推导的最高分分别为 62.47% 和 60.43%，端到端得分范围为 26.97% 至 55.29%。作者已公开代码和数据集。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。