Lightning Weave 提升推理模型的准确率与效率权衡
Lightning Weave 是一种后训练框架，可将多个专业模型分别学到的能力组合到同一个学生模型中。该方法通过在策略分布上进行蒸馏，同时优化推理准确率和效率，并避免训练时并行运行多个实时锚点模型。在数学和编程基准测试中，Lightning Weave 均优于基础模型。以 Qwen3.5-4B 为例，HMMT 2025 的准确率从 59.2% 提升至 64.0%，响应 token 数减少 10.7%；LiveCodeBench v5 的准确率从 41.7% 提升至 54.2%，响应 token 数减少 9.6%。研究团队表示代码将于近期发布。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。