应该选择哪种推理力度？LLM智能体推理力度的经济性
生成式模型日益提供推理力度设置，让用户在推理时的计算量、成本与潜在性能提升之间进行取舍。一项研究在四个基准测试中评估了专有模型和开放权重模型。较高的推理力度有时能提高总体准确率，但也经常无法完成较低力度已经解决的任务。对于各个力度都能完成的简单任务，最高力度的成本最高可达最低力度的42倍。更高力度还会改变智能体的解题方式，例如增加自我验证和搜索解法，延长执行过程，却不一定改变结果。研究人员建议从最低力度开始，仅在确认失败后再逐步提高。这种策略的表现不逊于或优于始终使用最高力度，并能降低大多数专有模型的成本。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。