PreSTO：通过预测式子树预取加速 LLM 幂采样
幂采样有助于提升 LLM 在推理时的推理能力，但 PowerMH 的序列式 Metropolis–Hastings 更新会拖慢采样。PreSTO 批量预取未来可能步骤的候选提案，同时保持采样器的转移核不变。在七个数据集和五个基础 LLM 上，PowerMH、EntropyCut 和 MultiTryMH 的中位数加速比分别为 1.71 倍、1.91 倍和 2.33 倍。对于 PowerMH 和 EntropyCut，模型调用次数的中位数减少了 3.9 倍。在 LCB V6 搭配 Qwen3.5-9B 时，预测式遍历规则比广度优先遍历快 1.25 至 1.37 倍。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。