MoE 解码中的通道选择无需校准数据
一项旨在加速混合专家（MoE）模型推理的研究发现，选择重要通道无需校准数据。研究以 top-k 方法取代经过校准的阈值，为每个 token 选出得分最高的 k 个通道。在读取预算相近的比较中，top-k 在 43 项对比中的 40 项表现持平或更好，其中包括全部 23 项生成任务；它还避免了 Gemma 4 使用校准阈值时出现的重复循环问题。研究人员还提出了一种完全由模型权重构建的读取器。在三个后训练 MoE 模型上，该方法仅读取路由专家权重的 17.8%，便保留了完整模型 98.1% 的准确率。批次大小为 1 时，其 Triton 内核比优化后的 vLLM 快 1.60 至 1.90 倍。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。