混合架构中的竞争学习
许多现代语言模型将线性时间递归层与 softmax 注意力结合起来。递归层把上下文压缩为固定大小的状态，能够高效处理信息，但在上下文信息检索方面通常不如注意力机制。研究发现，不同的混合器会竞争学习同一个函数：当某一层学会该函数时，其他层对应的学习信号会受到抑制。在常见数据分布下，递归层比注意力更快学会检索函数，因此注意力往往无法学会检索。训练过程中途暂停递归层的权重更新，有助于注意力学会这项能力。研究人员据此提出分阶段预训练流程，并在参数量最高达 10 亿的模型上改善了语言建模损失、常识推理以及多种检索任务的表现。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。