周期性弱点：分块 KV 缓存压缩中的相位敏感性
分块 KV 缓存压缩能够降低长上下文推理的内存和注意力成本，但也引入了新的位置因素：标记相对于压缩窗口边界的相位。研究发现，同一信息在不同相位下可能容易或难以检索。在大型开放权重模型中，长上下文检索准确率在不同相位之间最多相差 40 个百分点。机制分析表明，不同注意力组件可能会针对特定来源相位进行专门化。研究结果说明，平均基准分数可能掩盖系统性的位置缺陷，因此评估采用分块压缩的模型时，应覆盖所有压缩相位。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。