并非每个 Token 都值得保留:高效深度研究智能体的边际价值估计
一项研究探讨了深度研究智能体如何在上下文不断增长时,移除价值较低的信息。研究在检索前、检索后和合成前三个阶段,对比了轻量级启发式方法与学习型价值模型。结果显示,剪枝发生的阶段比具体评分规则更重要:提前剪枝能带来最大的整体节省,而较晚剪枝主要用于优化最终合成上下文。轻量级启发式方法最多可减少 73% 的 Token 使用量,同时几乎不影响质量。但没有任何单一方法能在质量、效率和忠实度方面全面占优。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。