KV4-RL通过INT4 KV缓存量化加速异步RLVR rollout
KV4-RL将免校准的INT4 KV缓存量化与选择性INT8保护结合起来，保护注意力汇点和近期上下文，旨在加速可验证奖励强化学习（RLVR）并减少学习效果下降。在Qwen3-8B-Base的400轮GRPO训练中，与BF16 rollout相比，累计rollout速度提升1.80倍，完整迭代速度提升1.27倍；最后50轮的rollout速度提升1.97倍。使用统一的BF16评估器进行六项基准测试时，Qwen3-4B-Base和Qwen3-8B-Base的最终平均准确率均与BF16 rollout训练相差不到0.5个百分点。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。