DuoLM：利用语言模型实现快速、有效的个性化推荐
DuoLM 是一个个性化推荐框架，将紧凑型推荐模型与高效的服务运行时相结合。编码器 LLM 生成可离线复用的紧凑物品表示，个性化排序 LLM 则将其与用户历史记录和反馈结合。两个模型通过推荐任务监督和教师模型蒸馏进行端到端训练。虚拟 token ID、共享历史计算和 CUDA Graph 重放用于加速推理。基准测试显示，DuoLM 的推荐质量与专家教师模型相当；在单张 H100 上，每秒可为约 26,400 个候选项打分，吞吐量约为采用 vLLM 和自动前缀缓存的教师模型的 60 倍。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。