面向 AI 智能体的缓存工程
一种名为“缓存工程”的新方法，让 LLM 智能体无需修改执行轨迹或重新预填保留的上下文，就能直接控制活跃 KV 缓存。智能体可以将选定缓存排除在后续注意力计算之外，并调整保留键的位置编码。配套的 AKV 服务引擎负责管理有状态缓存的复用、淘汰和恢复。实验中，滚动丢弃策略相比达到阈值后再进行摘要的传统方法，使基准测试平均分提高 1.7 分、成本降低 27.7%。AKV 的输出吞吐量最高达到 1.2 倍，P95 请求延迟则提升至 1.5 倍速度。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。