“无损”推测解码究竟有多无损？Orthrus中的数值精度作用
Orthrus结合自回归与扩散架构，通过并行生成多个Token来加速语言模型推理。独立复现研究表明，其“无损解码”主张高度依赖数值精度。在BF16推理下，针对1,190个提示词，完整输出轨迹的精确匹配率在作者的检查点上仅为45%，在独立训练的模型上为43%。改用FP32后，所有评估提示词都实现了精确匹配。尽管输出轨迹存在差异，Orthrus在lm-eval-harness下游基准测试中并未出现系统性性能下降，说明应将轨迹等价性与下游任务表现分开评估。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。