Modular TTT：重新思考可组合模块化的测试时训练
Modular TTT将测试时训练（TTT）视为一种在线学习问题，通过内部学习规则更新快速权重。该框架把内部学习器表示为有向无环图，并将快速权重网络、损失函数、学习率、权重衰减和归一化设为明确的设计维度。它可以自动将基本的训练视图和查询视图规则组合成完整的TTT计算，从而系统分析各个组件的作用。研究发现，较小的初始学习率、权重衰减和单层非线性有助于提升性能。更深的快速权重网络和归一化往往会因产生过大的激活值而损害性能，而残差连接和门控机制几乎没有可测量的收益。基于这些结果，研究人员使用1000亿个token训练了4.1亿和14.5亿参数的模型，其训练损失和基准测试性能与Gated DeltaNet相当。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。