DecisionRank：面向决策模型重排序器的策略上蒸馏
DecisionRank 将生成式语言模型的排序知识迁移到决策模型中。该模型通过分数对文档排序，无需自回归生成文本。在项目空间策略上蒸馏中，学生模型根据自身分数生成排序列表，生成式教师模型评估该列表并提供反馈，以直接监督分数。结合离线排序监督后，作者称该方法在 TREC DL、BEIR 和 BRIGHT 等检索基准上取得了当前最佳表现。参数量为 17 亿的模型在 TREC DL19–23 上超过参数量为 270 亿的教师模型；参数量为 80 亿的版本相比对应的生成式列表排序模型，在 TREC DL 上快 24.5 倍，在 BRIGHT 上快 16.7 倍。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。