上下文分配定律：生成式搜索中的因果测量与闭环编排
该研究针对检索增强生成（RAG）的两个瓶颈：证据利用率难以准确测量，以及上下文预算分配效率低下。作者提出一种因果留一法探针，用于分离每条证据对生成答案的实际贡献。实验表明，与单纯扩展单一上下文相比，将计算资源迭代分配到多次连续生成中，可使组合召回率提升16.7至20.5个百分点，并且在参数规模最高达320亿的模型上仍表现稳定。研究还构建了一个闭环调度器，结合因果反馈和归因引导的解码机制，推动模型整合新的证据。代码、数据及因果测量工具已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。