信心源于经验：从推理到智能体的经验式置信度估计
该研究提出 XConf，一种结合当前推理过程与过往评估经验来估计语言模型置信度的方法。系统会记录过去的任务、模型反思、自报置信度、结果，以及评分完成后总结的经验教训。面对新任务时，XConf 会检索任务相似且自报置信度接近的历史案例，并依据其历史成功率重新评估置信度。该方法无需访问 logits，也无需更新模型权重，每次只需生成一次答案。在涵盖推理、编程、多模态问答和交互式智能体的九项基准测试中，使用来自三个模型系列的四个模型，XConf 在 24 次比较中的 23 次在 AUROC 指标上达到或超过十次采样的自洽性方法。同时，其校准误差更低，生成成本约为十分之一。在选择性预测实验中，放弃回答置信度最低的 10% 案例，可使智能体任务的实际成功率最高提升 8.7 个百分点。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。