DAGFormer：Transformer 跨层连接的全局拓扑预测
DAGFormer 是一种 Transformer 语言模型，利用联合训练的拓扑预测器规划跨层连接。不同于为每一层单独设置连接的现有方法，它会为整个模型统一规划路由，并根据输入 token 调整各连接的强度。在参数规模为 7500 万至 10 亿、条件匹配的 OLMo-2 模型上，与标准 Transformer 相比，DAGFormer 将 WikiText-2 困惑度降低了 17% 至 25%。在数据量和训练预算相同的情况下，它在多个模型规模上也以最低困惑度胜过四种路由基线。作者还报告称，该模型在下游任务评测和指令微调中表现更好，并且在结构化剪枝后性能下降较少。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。