LoopVQ：面向循环式 Transformer 的低于 1 位 KV 缓存量化
循环式 Transformer 重复使用相同层以减少参数内存，但 KV 缓存会随循环步骤增加。LoopVQ 利用不同步骤间的冗余，联合量化多个步骤的通道，并微调码本，使输出接近全精度模型。在每个元素 0.5 位的设置下，LoopVQ 在通用任务、长链式推理和长上下文检索测试中优于现有 KV 缓存量化方法。集成到 SGLang 后，在 32K token 上下文下，解码延迟几乎减半；与 BF16 相比，Ouro 1.4B 和 2.6B 模型的峰值服务吞吐量最高分别提升 4.3 倍和 6.1 倍。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。