TPPO：面向语言模型推理的价值追踪 PPO
这项研究提出 Tracking-Value PPO（TPPO），旨在更准确地追踪语言模型推理过程中逐个 token 的价值估计变化。该方法在对数胜算空间中对前缀价值进行加法分解，并利用轨迹终端结果的监督信号训练相关输出。与 PPO 相比，TPPO 在 Qwen3-4B-Base 和 Qwen3-8B-Base 上的综合数学推理得分分别提高 7.0 和 8.4 分。作者还报告称，该方法提升了分布外泛化能力，并在其他模型和任务（包括科学编程）上取得进步。代码已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。