SAGE：通过拓扑引导缓解长程推理偏差
该研究分析了大型语言模型在稀疏奖励环境中进行长程推理时的两类问题：探索偏差，即模型倾向于选择局部合理但结构不稳定的分支；以及累积偏差，即微小偏差在多步推理中不断放大。研究人员提出 Symbolic Closure Analysis 作为理论分析框架，并开发了 SAGE，将代数稀疏化与推理状态的双曲空间嵌入相结合。这些结构性引导旨在减少无效分支，并沿推理深度提供更密集的信号。在 12 个基准测试和 7 个模型系列上，作者报告称 SAGE 优于竞争方法；在 Andrews-Curtis 问题上，性能最高提升 8 倍。代码已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。