让多令牌预测发挥应有效果
这项研究指出，标准多令牌预测（MTP）训练存在一个问题：梯度中的噪声成分可能同时干扰下一个令牌和多个令牌的学习。研究提出 Soft-MTP，移除这一成分，改用自蒸馏信号。作者表示，该方法复用现有的交叉熵计算，不增加参数，也不会带来可测量的额外计算开销。在 1.67 亿至 12 亿参数的模型测试中，Soft-MTP 在困惑度、推测解码和零样本准确率等多项指标上优于标准 MTP。代码已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。