AI4AI 测试时能力迁移：通过推理框架将强模型能力传递给弱模型
一项新研究探讨了更强的 AI 模型能否在不更新参数的情况下，于测试时提升较弱模型的能力。研究人员让构建模型迭代设计推理框架，并在四项心智理论基准测试上进行评估。结果显示，目标模型的平均表现几乎从 0.49 提升至 0.91。性能提升主要来自将不稳定的模型推理转移到确定性代码中、采用基准测试专用路由，以及严格控制答案格式，而不是鼓励更长的推理或更广泛的采样。研究表明，测试时的框架设计可以作为训练时知识蒸馏的补充。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。