BYOD：高效将自回归模型转换为扩散语言模型
BYOD 是一种通用方法，通过 LoRA 适配器将自回归语言模型转换为扩散语言模型，同时冻结基础模型的全部参数。研究在 Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B 和 Ministral 8B 上进行了测试。适配器占最终参数的 4.1% 至 5.8%；每次转换最多使用 1.024 亿个 token，并在一块 Google Colab GPU 上耗时 3.1 至 4 小时。在九项任务的评测中，BYOD-Gemma 的平均准确率为 50.6%，接近 LLaDA 8B Instruct 的 51.9%。不过，开放式生成质量仍是主要局限：BYOD 的困惑度高于 LLaDA 和原始自回归模型。研究团队提供独立的训练与评测实现，以及交互式演示。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。