以嵌套稀疏性实现可扩展预训练与持续学习
这项研究提出 Nestor，一种将新型条件计算机制与混合专家（MoE）模型稀疏性结合的 Transformer 架构。在计算量和稀疏程度相同的条件下，Nestor 在语言模型预训练中的表现优于传统 MoE Transformer。它还能更有效地适应更长上下文和新领域，同时减少对旧领域知识的遗忘。研究显示，随着模型、数据集和上下文长度扩大，这些优势仍然存在。代码和检查点已在 GitHub 开放。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。