利用辅助奖励实现自我改进：从已验证推理轨迹中学习并评估迁移能力
本研究探讨在监督数据有限时，对推理轨迹加入辅助偏好能否提升小型语言模型的自我改进与迁移能力。研究比较了基于置信度的指标SC，以及结合全局熵变化与局部平滑度的UID-Conj.。在线实验使用30道AIME题目对Qwen3-1.7B进行适配，UID-Conj.相较未经修改的TTRL，在适配基准和三个迁移基准上的宏平均提升2.08个百分点。离线加权SFT实验中，UID-Conj.比对同一回答集进行均匀加权高1.93个百分点；配对提示词自助抽样的95%置信区间为[0.44, 3.44]。效果因任务而异，但结果表明，辅助偏好可能揭示正确结果相同的回答所具有的不同学习价值。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。