Library of Layers（LoL）：运行时自适应排列 Transformer 层
Library of Layers（LoL）是一种模型架构，可在推理时动态排列 Transformer 模块，而不是始终按固定顺序执行。一个超参数控制共享模块库的规模，从而调节参数复用与计算稀疏性之间的平衡。使用文本进行预训练后，LoL 的表现与稠密模型、深度循环模型及混合专家模型相当。在数独和迷宫任务中，模型会根据不同解题策略采用不同的层序列；研究人员也能干预路由，引导模型采用特定策略。层序模式还会随语言和文字系统变化。这些结果展示了动态组合计算流程的可能性，但尚未证明其具有普遍的性能或效率优势。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。