选择更多，决策更少：JEV 类直接决策模型中的序数尺度偏差
直接决策模型能够以较低延迟将文本转换为结构化标签和分数。不过，对 JEV 1.13 及三种开放 KEV 模型的研究发现，它们未能充分使用用户提供的序数尺度。在 ANLI 上，尽管 JEV 的准确率为 74.95%，且真实标签近乎均衡，“Neutral”仍占全部预测的 38.8%、错误的 51.3%。在 36 个序数数据集上，最终决策仅利用了真实标签有效支持范围的 67%–76%；四个名义尺度任务则达到 87%–102%。随机调整候选项顺序会减弱这一现象，但无法消除它。随着尺度细化，所有模型的利用率均下降，在 K=14 时为 26%–75%。BA-LoRA 后训练将八种有监督尺度上的真实标签相对利用率从约 47% 提升至 86%。研究者将此现象称为“序数尺度利用偏差”。代码和数据已公开。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。