ReaDy 将循环状态用作混合线性注意力大语言模型投机解码的动态上下文
ReaDy 是一种用于加速混合线性注意力大语言模型自回归生成的投机解码方法。它从目标模型的紧凑循环状态中，为草稿序列的每个位置检索特定的补充上下文，并通过轻量级残差更新将其融入草稿表示。作者称，在涵盖数学、代码生成和对话的七项基准测试中，ReaDy 在单张 NVIDIA B200 GPU 上运行 Qwen3.8-27B 时，相比自回归解码平均提速 3.16 倍。与 DSpark 相比，平均吞吐量提升 7.97%，接受长度提升 8.50%。相关代码已在 GitHub 上公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。