面向大语言模型的通用文本教学方法
研究人员提出 Universal Textual Teaching（UTT），一种无需更新学生模型参数、即可将更强教师模型能力迁移给学生模型的知识蒸馏方法。UTT不直接修改模型，而是生成名为 Primer 的可解释、可复用自然语言产物。该方法先通过成对评测找出具有代表性的能力差距，再利用多个角色将评测反馈转化为教学指令、针对性示范和经过整合的经验。在数学和代码生成任务中，KernelBench准确率从9.4%提升至48.6%，Fast1准确率从9%提升至35%；数学推理准确率则从27.6%提升至51.7%。此外，UTT的表现优于多种提示工程和基于参数的知识蒸馏方法。为一组教师与学生模型生成的 Primer，还能泛化到未参与合成的其他学生模型。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。