LatentLoop：通过非对称计算分配扩展循环式 MoE 模型
这项研究提出 LatentLoop，旨在更高效地分配循环式专家混合（MoE）模型的计算资源。该方法在第一次迭代时压缩序列，第二次迭代则保留完整分辨率，并将节省的计算资源用于扩大隐藏层维度。在涵盖 13 亿至 70 亿参数的 15 种配置中，LatentLoop 持续降低验证集 NLL。当拟合 NLL 为 1.988 时，相较于常规 MoE，预计可节省 19.0% 的计算量；相较于循环式基线则可节省 7.9%。九项基准测试的平均成绩也有所提升。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。