受限解码有害还是有益？重新审视其对大语言模型性能的影响
本研究探讨受限解码是否必然损害大语言模型的推理能力。研究人员在四个模型系列、11个开源模型和多种基准测试中进行评估，发现表面上的性能下降大多源于提示词与输出格式不一致，而非解码器层面的限制。有效性约束可以排除无效答案，从而提高可靠性并便于提取结果。如果推理约束能够引导模型采用有益的推理路径，也可能提升准确率。其影响取决于约束的类型以及被排除的输出。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。