On-Policy 自训练：大语言模型无需外部数据的自我改进
这项研究提出一种后训练方法，使语言模型无需依赖更强大的外部教师模型或人工整理的问答数据，也能提升自身能力。模型仅根据粗略的主题描述，自行生成问题和详细推理示范，并将其用作训练信号。测试显示，该方法提升了模型在多个文本领域和视觉问答任务上的表现，同时保留了未纳入自训练领域的能力。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。