字节团队分析 DeepSeek 长上下文性能波动原因
字节 Seed 团队在 arXiv 预印本中研究了 KV 缓存压缩对长上下文信息检索的影响。研究人员发现了“相位敏感性”：同一信息的检索难度会随其相对于压缩窗口边界的位置而变化。采用此类压缩的大型开放权重模型，长上下文检索准确率在不同相位之间可能相差高达 40 个百分点。因此，平均基准分数可能掩盖周期性弱点。研究评估了多个 DeepSeek 基础版和后训练版模型。
本文来源：IT之家,AIbase，仅供学习参考，版权归原作者所有。