D3D:面向异步推测解码的解耦扩散草稿生成
D3D 是一种独立的扩散草稿生成器,无需依赖目标模型的隐藏状态即可预测候选 token。因此,它能在验证当前内容时预先生成下一个区块,实现异步推测解码。在七项基准测试中,以 Qwen3-8B 和 Qwen3-32B 为目标模型时,D3D 平均分别加速 5.00 倍和 5.71 倍,高于 DFlash 的 4.03 倍和 3.67 倍。在 Qwen3-32B 上运行 GSM8K 时,速度提升达到 7.48 倍。代码已公开。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。