AdaExploreBench：评测LLM智能体在动态环境中的主动探索与测试时适应能力
AdaExploreBench是一项基准测试，用于评估LLM智能体能否在陌生环境中推断隐藏规则，并适应规则变化。当规则在未通知的情况下改变，智能体必须发现已有知识已过时，并重新探索。对八款领先LLM的实验表明，这些能力仍具挑战：GPT-6 Sol的校准准确率为61.9%。提供充分证据或取消规则变化后，平均表现可提升近10%。结果显示，智能体通常能够依据有用证据进行推理，但难以主动获取恰当证据，也难以识别证据何时已失效。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。