面向推理的思维级束搜索
在推理阶段增加计算量可以提升大型推理模型的性能，但现有方法通常效率不高。研究人员提出了 Gambit，一种针对部分推理轨迹执行束搜索的推理算法。该方法会定期剪除缺乏前景的轨迹，并立即从高质量前缀继续分支。轻量级评分器通过探测隐藏状态，将计算资源动态集中到最有希望的推理路径上，同时保持较高的硬件利用率。在多个模型和基准测试中，与剪枝基线相比，Gambit 在 HMMT-24 上最高提升 6.7 个百分点，在 AIME-25 上提升 3.3 个百分点。轨迹完成吞吐量提高了两倍以上，相较标准并行采样，总令牌消耗最多减少 68.5%。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。