R^3-Bench：LLM在共享预算下的资源理性推理中表现挣扎
R^3-Bench评估六个语言模型如何在共享预算下，将有限的计算资源分配给由六道题组成的任务集。测试涵盖数学、竞赛编程和抽象推理，并包含无工具和代理式场景。研究根据各模型处理单题时的响应曲线构建了一个经验基准。在主要结果表的72个单元中，该基准在全部单元都达到或超过竞赛平均表现，并在71个单元中更高。结果表明，模型在单题上展现出的能力，与必须在多个任务之间分配资源时实际发挥这些能力的水平之间，存在持续的差距。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。