IntBMoE通过块条件专家组合实现全参与式混合专家模型
IntBMoE是一种混合专家模型架构，旨在将专家参与度、计算成本和内存需求相互解耦。轻量级超网络动态组合专家基底，而路由器只将每个令牌发送到少量区块。这样，每个组合专家都能利用完整专家池的信息，同时避免密集型MoE的执行成本。研究在图像分类、语言建模和序列推荐任务上进行了实验，结果显示其优于多种稀疏和密集基线模型。作者表示，IntBMoE已部署于高德地图的生成式推荐系统，在60毫秒延迟预算下服务数亿用户。在线A/B测试显示，相对UVCTR提升了2.4%。相关代码已开源。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。