CritICL:利用小型语言模型失败模式实现推理时弱到强泛化
CritICL 是一个用于提升大型语言模型推理能力的推理时框架。该方法将较弱模型中具有结构性的失败模式作为指导,并通过基于批评的上下文学习示例加以利用。CritICL-dynamic 会预测特定输入的失败模式并检索相关批评,CritICL-static 则使用全局失败模式概况。实验结果显示,CritICL 持续优于标准上下文学习,其性能可媲美或超过测试时扩展方法,同时显著减少生成次数并降低词元成本。代码已公开。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。