UNREAL：用单一模型统一检索与长上下文推理
UNREAL是一种模型内证据选择框架，旨在统一大规模语料库检索和长上下文推理。它利用冻结语言模型的内部表示直接生成检索查询并编码文本片段，仅增加不到50万个可训练参数，同时保持基础模型不变。在包含30亿个token和2,100万个片段的Wikipedia索引上，四种UNREAL变体均超过了现有的检索器与重排序系统。最佳模型将HotpotQA的召回率从49.1%提升至73.2%，将2WikiMultiHopQA从31.7%提升至60.1%。在长上下文任务中，UNREAL也显著提升了性能，并且与处理完整上下文相比，降低了计算量和首个token生成时间，且上下文越长，节省越明显。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。