面向掩码扩散机器翻译的长度自适应解码
一项研究探讨掩码扩散语言模型在机器翻译中如何确定目标序列长度。研究提出无需训练的 Entropy-Valley（EV）方法，通过全掩码前向推理得到的平均预测熵，对候选输出长度进行评估。与依据训练语料长度统计的基线相比，EV 恢复了使用参考目标长度时 COMET-22 改进幅度的相当一部分。在英中、中英和英德翻译实验中，适合去噪的长度不一定与参考长度一致。与使用相同微调数据训练的自回归 LLaMA-3-8B 相比，EV 在英中翻译上表现相当，在中英翻译上取得更好结果。研究还表明，在这一掩码扩散翻译场景中，提供合适的目标长度可能比决定先揭示哪些 token 更重要。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。