Breaking Diffusion:通过草稿精炼实现并行推理
该研究提出 Draft Refinement Language Models(DRLM),通过并行修订完整答案草稿,并依据模型预测计算出的能量分数进行评估。单个去噪器提出修改,只有能量降低时才保留草稿。在 Countdown、Sudoku-Extreme 和 Maze-Hard 测试中,DRLM 的表现优于自回归和离散扩散基线。一个拥有 600 万参数的模型在 Countdown-5 上取得 44.4%,在 Sudoku-Extreme 上取得 93.9%。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。