LEV：通过循环决策模型实现快速而深入的推理
LEV是一种决策模型，通过反复运行模型层来加深计算，而不是生成额外的文本token。它使用同一组模型权重，并可针对不同问题调整计算深度。在JevBench上，一个26亿参数模型的准确率从循环一步时的63.2%提升至四步时的76.2%。按需选择计算深度可减少15%至24%的计算量，同时将准确率损失控制在1个百分点以内。在延迟低于50毫秒时，受测模型的准确率也比延迟相近的非循环稠密模型和级联方案高5.4至8.8个百分点。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。