1%的令牌可能就足够：论策略内蒸馏中的梯度估计
该研究分析了稀疏策略内蒸馏，即只对学生模型生成轨迹中的少量令牌提供教师模型监督。作者提出信息效率比（IER），同时衡量令牌的有用性和梯度估计的可靠性。通过候选集近似，可以在保留采样反向 KL 训练目标的同时选择令牌。在数学和医学推理任务中，加入 IER 后，现有令牌选择方法在多种设置下得到改进。当令牌预算为 0.1% 至 1% 时，稀疏训练在部分情况下达到了或超过未进行令牌选择的完整策略内蒸馏。代码已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。