更聪明地训练，而不是更费力：主动学习中的信号引导切换
一项研究探讨了主动学习模型应从头重新训练，还是从上一个检查点进行微调。研究发现，在新标注批次可能显著改变数据分布的早期轮次，完整重训最有价值；当模型训练轨迹趋于稳定后，微调则更加可靠。HybridAL监测谱指数变化和验证准确率变化等稳定性信号，并在持续稳定后自适应地从重训切换到微调。在三种编码器骨干和六项文本分类任务上，HybridAL的最终宏平均F1不低于重训和微调基线，同时最多节省49%的重训时间。与预先设定轮次的切换方案相比，该方法还以适度的额外成本取得了更低的负对数似然，改善了时间与模型校准之间的权衡。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。