DecisionPivot：LLM 系统决策模型诊断基准
在 LLM 系统中，决策模型用于路由、安全防护和输出验证等任务。DecisionPivot 是一套诊断基准，涵盖 7 种决策角色、48 项任务和 40,033 个样本，用于评估模型在受控变化下能否保持决策正确，以及能否给出可靠的置信度。结果显示，汇总分数会掩盖模型间的差异：两个 27B 模型在参考测试集上仅相差 2.6 分，但对比组准确率分别为 70.1% 和 44.2%。在 2,400 组二元对比样本中，Perplexity Decider 有 92.3% 的配对能够将正例排在负例之前，但只有 74.1% 的配对能够同时正确回答两项。不同模型的高置信度预测可靠性也有差异。在另一组子集中，GLM-5.3 使用较高推理设置时，对比组准确率达到 93.5%；最低设置下则为 81.5%。DecisionPivot 旨在比汇总评估更细致地诊断决策失误。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。