层次化语言模型的动态多字节预测
研究人员提出多字节预测方法，以加快字节级层次化语言模型的推理速度。该方法能够并行生成多个字节，无需增加额外参数，同时对模型性能的影响较小。它采用与模型潜在片段对齐的可变长度预测窗口，并设计了新的注意力掩码机制，在支持并行字节预测的同时保持因果性。在文本生成、指令遵循、问答、摘要和机器翻译等任务上的评估显示，该方法在性能与推理吞吐量之间实现了较好的权衡。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。