超越两次循环：可扩展的循环式混合专家模型方案
这项研究提出 LOOM，通过反复应用共享 Transformer 模块，在不增加参数量的情况下提升混合专家模型的有效深度。该方法针对以往方案的两个问题：循环状态不稳定，以及路由器反复选择相同的专家。对 1 亿至 17 亿参数模型的实验显示，LOOM 可稳定扩展至 9 至 12 次循环。在 FLOP 数近似匹配的比较中，7 亿参数模型循环 5 次，将困惑度从 18.36 降至 16.54。在未匹配 FLOP 数的情况下，17 亿参数模型循环 9 次，相较于不使用循环的基线模型，也提升了困惑度和平均零样本准确率。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。