DisaggKD：通过分离教师模型与学生模型并采用融合损失，实现高效知识蒸馏
DisaggKD 将教师模型和学生模型部署在不同计算节点上，而不是共用同一组 GPU。教师模型副本向学生模型传输隐状态；融合蒸馏损失通过行窗口和词表分片，在不生成完整词表 logits 的情况下，精确计算与完整词表损失相同的结果。在 Qwen3.5-35B-A3B 蒸馏至 9B 的实验中，分离式方案达到与同机运行相同的语言模型损失，且速度更快。对于更大的模型组合，分离部署能够完成同机运行因显存不足而无法进行的训练。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。