SPOT：用于在策略蒸馏的稀疏探测与结果校准
SPOT是一种改进在策略蒸馏的方法。在该方法中，学生模型在教师模型的监督下，根据自身生成的轨迹进行学习。SPOT结合教师模型的熵、少量高概率候选覆盖的概率质量，以及学生与教师之间的不匹配程度，选择有限预算下需要探测的位置。随后，它通过验证器对学生模型生成的后续轨迹进行评分，评估教师提出的候选。基于这些结果，SPOT构建带有KL正则化的训练目标，在保持教师分布约束的同时，偏向下游结果更好的候选。在多个学生模型和推理基准上的实验表明，该方法能够提升推理性能，并兼顾解答质量与覆盖范围。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。