研究系统分析混合线性注意力大语言模型中的大规模激活
该研究首次系统分析了交错使用线性注意力层和完整注意力层的混合大语言模型中的大规模激活。研究人员发现了两种与架构相关的形态：完整注意力层之前会出现激活尖峰，激活还可能持续穿过中间的线性注意力层，形成间歇平台。这些现象在五种线性注意力架构、六种混合配置、五个数据领域，以及参数规模从12亿到3970亿的开源模型中均得到观察。针对较小型 Gated DeltaNet 混合模型的受控实验表明，两种形态在训练早期就会出现。分析认为，激活被抵消的时机可能是决定其局部爆发或持续存在的共同机制。研究代码已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。