大语言模型强化学习中训练与推理偏差的起源与演变
在实际应用中，大语言模型的 on-policy 强化学习通常由推理引擎采样生成回答，再由独立的训练器计算梯度。两者之间的差异可能使训练数据变成 off-policy。研究将偏差来源分为推理引擎的数值差异，以及异步采样使用过时权重造成的策略滞后。两种来源会产生不同偏差，因此需要不同的校正方法。研究提出 Discrepancy-Lag Correction（DLC），用于校正数值差异、限制策略滞后比率，并在该比率的有效样本量低于一半时重新同步采样器。在 Qwen3-0.6B 和 Qwen3-1.7B 上的测试表明，DLC 能使训练结果更接近 on-policy 基准，并避免其他校正方法未能发现的训练崩溃。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。