测试时记忆演化能否在科学发现中超越测试时训练？
一项研究提出测试时记忆演化（TTME），作为科学发现任务中测试时训练（TTT）的高效替代方案。TTT会在推理过程中更新模型权重，而TTME则持续将经验蒸馏到外部记忆中，以指导后续搜索。在相同科学发现框架下进行的受控比较中，TTME在全部五项数学任务上都超过了TTT。此外，该方法将按FLOPs计算的计算成本降低了82.8%至84.6%，运行时间降低了47.7%至58.4%。这些结果仅适用于所评估的设置，尚不能证明其具有普遍优势。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。