多流注意力残差
多流注意力残差（MSAR）将 Attention Residuals 扩展为沿网络深度运行的多头注意力。多尺度因果卷积使各注意力头能够从不同上下文视角提取较早的表示，再通过轻量级自适应混合生成各层输入。在 18B 和 28B MoE 规模的测试中，MSAR 在全部 12 项基准测试中均优于多种残差变体。扩展实验显示，与标准残差连接相比，达到相同损失所需的计算量效率提升 1.58 倍。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。