少想一些，局部判断：用于推理压缩的局部偏好学习
大型推理模型常生成冗长的思维链，即使信息已经足够，仍会继续推理。研究团队提出 LoCo，让模型根据当前状态学习何时继续推理、何时结束作答。该方法从模型自行生成的推理轨迹中识别可能过度思考的节点，从相同状态生成更短且经过验证的后续内容，再使用 DPO 训练状态条件偏好对。在数学和代码生成基准测试中，LoCo 将完成内容长度分别缩短 41.7%–45.4% 和 23.4%–36.3%，同时保持或提升准确率。尽管仅使用数学推理轨迹训练，该方法在代码生成任务上也表现有效。作者表示将公开代码和模型。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。