选择不等于学习：如何决定自进化模型的未来
这项研究分析了利用模型自行生成的任务进行训练的自进化语言模型。R-Zero、Agent0 和 Skill Self-Play 等现有方法，会根据任务看起来是否可学习来选择更新，但通常会继承所有产生的更新。研究人员指出，可学习的任务不一定能带来有用的更新。HeirCommit 会冻结更新后的模型，并通过全新的评估问题决定是否继承该模型。EvoHeir 将参数继承与经验继承分开，即使不继承产生经验的模型，也能保留有用经验。在相同接受率下，HeirCommit 相比随机继承将有害更新的占比降低了 68% 至 83%。在四个基础模型上，EvoHeir 在数学和通用推理方面取得了最佳平均成绩，数学平均成绩比 Agent0 提高了 5.3%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。