PAR：面向状态跟踪长度泛化的进度对齐递归
该研究提出 Progress-Aligned Recurrence（PAR），一种用于训练递归语言模型的方法，旨在处理比训练数据更长的序列任务。PAR 将第 k 次迭代的预测对齐到完成前 k 次操作后的状态，并将递归状态重新缩放到与第一次迭代相同的范数。在 swap-S_5 上，仅使用最多 32 步训练的 Qwen2.5-0.5B 模型，在 512 步时实现了 95.5% 的平均完整状态准确率。同一模型骨干的既有结果中，RLT 为 55.7%，显式思维链为 0.8%。消融实验表明，范数锚定和中间进度目标都对长度外推至关重要。模型还可以通过学习得到的完成读出模块，在未预先指定停止深度的情况下选择何时回答。当缺少中间标签时，前缀自蒸馏可仅利用最终答案学习这种状态对应关系。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。