面向 MoE 的 Meta Expert：跨层共享专家可减少存储冗余并提升信息检索
这项研究比较了 Mixture-of-Experts（MoE）模型中各层独立的 Local Expert，以及跨多层共享的 Meta Expert。研究者称，Meta Expert 能降低参数冗余，同时取得更低的交叉熵损失和更高的下游任务准确率。在启用参数量和专家粒度保持不变的情况下，该模型仅使用传统 MoE 70% 至 80% 的专家数量，便达到相当的性能。理论分析还指出，更灵活的残差路径可能有助于提高信息检索效率。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。