PLDR-LLM 的训练与推理动力学:行映射坍缩、重整化与预测性约化
这部专著提出了描述幂律解码器表征语言模型(PLDR-LLM)训练与推理的框架,并将以行为中心化的学习映射变化分解为参数贡献、相互作用和数值观测误差。分析还考虑了优化器状态、数据顺序及预测性约化所需的其他条件。实验表明,结果会受到观测方式和优化器的影响,且未能支持所测试的自治行状态模型。研究支持有限条件下的预测和特定状态的算子约化,但并未确立普适的临界类别。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。